Grad je bil eden petih glavnih krških fevdov in sedež podeželskega sodišča. Grad je prvič omenjen leta 1213, kot Castrum Herberch, ko ga je Ortolf s Planine zapisal svoji ženi Kiburgi s Ptuja. Podsreškim vitezom so sledili Ostrovrharji s Svibnega. Leta 1338 ga je Herman s Kranichberga prodal Frideriku Žovneškemu. Škofje so grad redno potrjevali Celjskim grofom. Po njihovem izumrtju leta 1456, postane grad in gospoščina deželnoknežja last Habsburžanov. Leta 1515 so ga napadli in zavzeli uporni kmetje. Upravitelji gradu so se poslej pogosto menjavali, dokler ga leta 1617 ni kupil grof Žiga Tattenbach. V lasti njegovih potomcev je bil do leta 1848, ko je posest kupil knez Weriand zu Windischgrätz. Posest je ostala v lasti njegovih dedičev do konca druge svetovne vojne. Zahodno 450m od gradu je stal zaporni stolp (Turnič), na katerem je bila stalna vojaška posadka. Prvotni podsredški grad je nekoč stal na hribu (gradišče), vzhodno od današnjega trga.