Po letu 1368, ko so Habsburžani kot deželni knezi ujeli Aufenštajnerja, požgali mesto in si prilastili vsa grajska posestva, v Pliberku ni bilo več stalnega graščaka. Za upravitelje so bili postavljeni menjajoči se oskrbniki. Znana so imena Haug von Ty-bein, Erasmus Kautz, Burkhard von Weispriach, Juri von Schaunberg in Reinprecht von Reihenburg. Leta 1510 je dobila grad v fevd Apolonija Lodron in za njo njena hči Anamarija, ki ni imela potomcev. Njen mož Andrej Ungnad z Ženeka se je ponovno poročil in izročil pred smrtjo leta 1577 grad svojemu sinu Davidu. Ko je tudi ta umrl, je prišel kupec s Kranjskega, in sicer »Obrist« in »Erbhofmeister« Johan Ambrož grof Thurn-Valsassina. Za grad je plačal v gotovini in zlatnikih, mu dal današnjo obliko in se vanj vselil. Nad grajskim vhodom je ohranjena letnica 1606, ki priča o dokončanju pregradnje. Od leta 1601 so lastniki gradu grofje Thurn. Današnji posestnik je mag. Vinzenz Graf Thurn-Valsassina.
Življenje v srednjeveškem gradu ni bilo nič kaj udobno. Veliki prostori so bili temačni in hladni. V oknih še ni bilo stekla, zadelana so bila le pozimi, in sicer s prozornimi kožami ali naoljenim pergamentnim papirjem. Svetili so s treskami, ki so dajale slabo luč in so se močno kadile. Poleti so bili ljudje večinoma zunaj na lovu in na polju ali pa so se vojskovali v cesarski vojski. Pozimi so se dolgočasili doma ob odprtem ognjišču z malo toplote, a z veliko dima. Možje so lenarili po klopeh, včasih kockali in pili medico ali vino. Žene so predle in izdelovale obleke ter vzgajale otroke. Zelo so se razveselili potujočih pevcev, ki so pripovedovali novice in peli pesmi. Takšnega gosta so zadržali kar po več dni in ga nato lepo nagradili, nakar je odšel proti Ženeku ali na Suho.
Grad je bil obdan z zobčastim zidom in je imel nekdaj dvojna vrata z dvižnim mostom. Mostišče je že zdavnaj odstranjeno. Nad prvimi vrati, ki jih je dal zgraditi prvi Thurn, je letnica 1606; nad drugimi, pri vhodu v grad, pa je latinski kronogram z letnico 1747. Grad je do prejšnjega stoletja imel na vzhodni strani stolp, podoben zvoniku v mestu. Pred več kot sto leti pa so ga podrli zaradi nevarnosti, da bi se sesul. V nekdanjem obrambnem zidu pod gradom še danes stoji okrogel stolp, v katerem so bili nekoč zapori. Iz gradu je vodil v mesto podzemni hodnik, ki se je končal pri današnji lekarni.