Najstarejši pisni viri omenjajo, da je dal salzburški nadškof Konrad I, ki je bil na tem položaju od leta 1106 do 1147, sezidati trdnjavo na mestu ostankov starejših srednjeveških poslopij v letih 1125 do 1130. Iz 11. ali 12. stoletja je verjetno tudi vodnjak na dvorišču, globok kar 54 m., sedanji venec pa je bil bostavljen v boroku oz. drugi polovici 17. stoletja. Okoli leta 1220 sta salzburški nadškof Eberhard II. in štajerski vojvoda Leopold VI. ustanovila kovnico denarja, ki naj bi bila domnevno na gradu v bližini romanskega palacija in Konradovega stolpa. Kovnica je prenehala delovati leta 1230. Iz leta 1235 je omenjen ptujski vitez Herman in v istem stoletju še nekaj omemb objektov povezanih s Ptujem. Leta 1247 je omenjen »mali« gradi (castrum minus), kar daje slutiti, da je obstajal tudi veliki grad (»castrum maius«). Leta 1260 je omenjena kastelnina (pro custodia castri), ki na bi znašala 200 mark. Okoli leta 1376 sta v anonimni kroniki omenjena dva gradova (beide burg und stet). Leta 1433 pišeta ptujska graščaka Hartnid in Friderik o salzburškem fevdu v Ptuju: grad, grajski stolp, grajske gorice ter 12 stražarskih posesti okoli nje. Zadnji srednjeveški zapis o ptujskem gradu je iz leta 1487 in sicer v popotnem dnevniku Paola Santonina, spremljevalca oglejskega vizitatorja. Zapisano je, da je grad trden in nepremagljiv.

Ptujski grad je bil v srednjem veku zelo pomemben. Bil je središče fevdalne posesti salzburške cerkve v Podravju, Ptujske gospode in svoje dobre strateške lege. Ptujski grad je, poleg Stubenberga in Wildona, edini na takratnem Štajerskem, ki je moral po potrebi zagotovljati deželno obrambo s 200 obroženci.

Fevdni lastniki gradu so bili gospodje Ptujski. Prvi med njimi se v letih 1137 (do leta 1161) omenja Friderik I - Friderich de Bethowe. Leta 1161 do 1178 Friderik II. - Friderich de Pettove, Friderik III. - Friderich puer de Petowe pa od leta 1180 do 1222. V 13. stoletju je bil Ptuj utrjen z obzidjem in grajski kompleks dobi tipično tridelno zasnovo: zahodni in vzhodni grajski plato (predgradje), cvinger, osrednje dvorišče z vodnjakom, palacijema, bergfridom in več stranskimi poslopji. Po smrti Friderika IX leta 1438 je rodbina Ptujskih izumrla, za njimi so prišli Stubenbergi. Od leta 1480 pa do leta 1490 je bil Ptuj in grad v Madžarskih rokah oz. last Matije Korvina, leta 1490 je bilo zasedeno ozemlje prevzeto od nemškega cesarja Maksimiljana kot deželnoknežja posest, ki so jo upravljali razni najemniki. Ta je mesto in grad obdržal do leta 1511, ko je grad in mesto Ptuj zastavil salzburškemu nadškofu Lenartu Hodiškemu, ki ga je začel prenavljati, saj je bil v slabem stanju. Leta 1555 je nadškof prepustil posest cesarju Ferdinandu I, v njihovi lasti je ostal do leta 1622, ko ga je kupila družina Eggenberg. Leta 1634 so posest prodali družini Thaunhausen, kateri so ga leta 1642 podarili zagrebškim jezuitom. Zaradi denarne stiske so jezuiti grad leta 1656 prodali generalu Walterju Leslieju pl. Balquhane, Škotu po rodu. Ta je grad temeljito prezidal, saj je v času baroka in prenehanju turških vpadov, grad izgubil svoj obrambni značaj. Spremenil ga je v podeželsko rezidenco in sedež zemljiškega gospodstva. Njegovi potomci so ga posedovali do leta 1802, po njihovem izumrtju so posestvo podedovali sorodniki Dietrichsteini, a so ti že leta 1864 izumrli. Po dednih zapletih ga je leta 1873 kupila grofica Terezija Herberstein, prvorojenka zadnjega kneza Dietrichsteinskega in ga tako rešila pred propadom, dala ga je obnoviti in na novo opremiti. V njihovi lasti je ostal do leta 1945, ko je bil nacionaliziran. Zdaj je v njemu kulturno-zgodovinska zbirka Pokrajinskega muzeja Ptuj. Leta 1999 je bil grad razglašen za kulturni spomenik državnega pomena.

Ko je leta 1555 je grad spet prešel v deželnoknežje roke, so ga pričeli temeljito obnavljati in utrjevati. Iz tega časa je tudi znameniti vhodni portal, delo italijanskega arhitekta Giovannija Peruzzija (1511/12-1572), sina arhitekta Baldassareja Peruzzija iz Siene. O renesančnih prezidavah na gradu so ohranjena tudi druga poročila, ki med drugim pričajo tudi o nastanku opornega zidu, kjer se je hrib rušil.