Dvorec Javornik se ni vedno imenovala isto. Sprva se je graščina imenovala Prušnikov dvor (Pruschnigghof). Kasneje okoli leta 1540 pa jo je dobil v roke Luka Gams, ki jo je obnovil ter obdal z obzidjem in stolpi. Takrat se je preimenovala v dvorec Gamsenegg.

V 2. polovici 16. stoletja so ga dobili v roke Javorniki (Jaborneggi). Bili so guštanjski tržani, leta 1667 pa so postali baroni. Javorniki so imeli dvorec v lasti še po letu 1715.

Pozneje je prišel v roke Wayersbergov in Gačnikov (Schlangenburgov).

Ob koncu 19. stoletja je bil njen lastnik Franc Ksaverij Schmied. Od leta 1910 do smrti, to je leta 1946, pa je dvorec pridobil protestant Šlezijec Ernest Ossiander.

Kasneje je bila last splošnega ljudskega premoženja, sedaj pa je v privatni lasti. Železarna Ravne je okoli leta 1960 pričela z obnavljanjem, vendar neuspešno. Kasneje so uspeli obnoviti stolpič.

Po drugi svetovno vojni je dvorec prešel v ljudsko oblast. Z novimi lastniki je dvorec pričel nezadržno propadati, saj le ti niso imeli financ niti interesa za njegovo vzdrževanje ali prenovo.

Nato je lastnica dvorca postala uprava Državnega kmetijskega posestva Javornik. Dvorec so dodelili Kmetijski zadrugi Prevalje, ki je gospodarila s stanovanji. Dvorec je tako postal zgradba, v katerem so stanovali ljudje. Ker stanovalci niso znali dovolj ceniti notranje stavbne opreme se je marsikateri kos dodatno uničil ali porazgubil.

1984 so stanovalce izselili in ravenska Samoupravna stanovanjska skupnost je kot lastnik dvorca začela z izvajanjem najnujnejših zaščitnih del. S prvim delom ohranjanja stavbe so končali 1989. Žal pa z obnavljanjem niso nadaljevali.

S podržavljanjem Železarne Ravne je z družbo De profundis tudi dvorec Javornik prišel v državno last. Dvorec so leta 1996 za prodali podjetju P.S.T. v Kotljah, ki je lastnik gradu še danes.