Območje Vuzenice je bilo del stare Spanheimske posesti, ki je pozneje prešla v last Trušenjskih. 1359 je Kolon V. (zadnji Vuzeniški in zadnji Trušenjski) obljubil trg, grad in stolp Glaneškemu. Sklenila naj bi dedno pogodbo, ki bi mu omogočila prenos omenjene lastnine v njegovo pravo svobodno posest. Očitno pa je bila Kolonova »svobodna posest« sporna, saj je bil grad tudi v lasti šentpavelskega samostana, ki je imel v lasti več strnjenih posesti ob Dravi. Kolon je imel grad od samostana v zajemu. Samostan pa je grad obljubil vojvodi Rudolfu IV. Po Kolonovi smrti 1374, so posest prevzeli Celjani.

Celjski upravnik gradu Vuzenica je postal Hans Liechtenstein Nikolsburg. Ta je med 1374 in 1378 prevzemal deželnoknežje in šentpavelske fevde vezane na Vuzenico. Celjski so Vuzenico še priznavali za šentpavelski fevd.

Nasledniki Habsburžani, ki so se Vuzenice polastili leta 1456, je niso več priznavali za šentpavelski fevd. Habsburžani so grad upravljali z oskrbniki. Prvi med njimi je bil 1457 Friderik Verl, ki je nasledil celjskega oskrbnika. 1509 ga je dobil v zastavo Žiga Ivniški, Ivniški pa so ostali v gradu do 1568. V tem obdobju je grad doživljal burne dogodke, ki so pretresali deželo.

Vuzeniški grad s pritiklinami je nato kupil Matija Amman pl. Ammansegg. Ammani, ki jih opisujejo kot hudo samopašne gospodarje, so gospodovali na gradu do ok. 1646, ko ga je Ana Regina, vdova po Žigi Frideriku Ammanu, prinesla v zakon najprej svojemu drugemu možu Frideriku Caraduziju in nato 1656 svojemu tretjemu možu Hansu Karlu Kemetarju, ki je bil zadnji grajski lastnik vuzeniške gospoščine.

Ta je vso svojo posest 1663 prodal konventu samostana dominikank v Marenbergu-Radljah. Ob koncu 17. stoletja je bil grad še povsem ohranjen.

1782 je bil marenberški samostan razpuščen, grad pa je prešel v roke verskega sklada. Med poznejšimi zasebnimi lastniki se omenjajo Edvard Maggi, Feliks Schmitt in 1881 Karel Fritscher.

Do leta 1972 je v njem živela družina Otokarja Pistorja, sina Oskarja pl. Pistorja, akademskega slikarja, ki se je poročil z domačinko Ano Verdnik.