Nach 1368, als die Habsburger als Landesfürsten die Aufensteiner gestürzt, die Stadt niedergebrannt und sich des gesamten Vermögens bemächtigt hatten, gab es in Bleiburg keinen ständigen Grafen. Die Burghut über Bleiburg übernahmen verschiedene Verwalter. Bekannt sind die Namen Haug von Tybein, Erasmus Kautz, Burkhard von Weispriach, Juri von Schaunberg und Reinprecht von Reihenburg. Im Jahre 1510 erhielt Apolonia Lodron den Besitz als Lehen. Ihre Tochter Annemarie starb kinderlos. Ihr Gatte Andreas Ungnad aus Sonegg heiratete ein zweites Mal und übergab den Besitz vor seinem Tod im Jahr 1577 seinem Sohn David. Nach dessen Tod wurde Hans I. Ambrosius von Thurn-Valsassina als oberster Erbhofmeister und Landeshauptmann von Krain Besitzer Bleiburgs. Er kaufte die Burg in Goldtalern und verlieh dieser durch etliche Zubauten zum Renaissanceschloss das heutige Gesicht. Das Eingangsportal wurde mit dem Jahre 1606 versehen; dieses Datum zeugt von der Beendigung des rohen Umbaus. Seit 1601 ist das Schloss im Besitz der Grafen Thurn. Der heutige Besitzer ist Mag. Vinzenz Graf Thurn-Valsassina.
Das Leben in einem mittelalterlichen Schloss wurde zunehmend unbequemer. Heute hat jeder Bauer eine bessere Wohnung als man sie einst im Schloss hatte. Die riesigen Räume waren dunkel und kühl. Die Fenster hatten kein Glas; im Winter wurden sie mit durchschimmernden Fellen oder mit Ölpergamentpapier verhangen. Das Licht spendeten Fackeln, welche nur mäßig leuchteten und dazu noch stark rußten. Im Sommer waren die Menschen meist draußen auf dem Feld, wenn sie nicht gerade in kaiserlichen Kriegsdiensten standen. Im Winter aber langweilten sie sich oft zu Hause beim offenen Feuer, welches nur karges Licht, dafür aber viel Rauch hervorbrachte. Die Männer faulenzten auf der Ofenbank, spielten Würfelspiele und tranken zwischendurch Met oder Wein. Die Frauen mussten stricken, die Kleider flicken und die Kinder erziehen. So war ihre Freude über einen etwaigen Besuch eines Wandersängers nur allzu verständlich.- Der Besucher brachte Abwechslung des tristen Daseins, wusste Neuigkeiten und sang fröhliche Lieder. Sie behielten so einen Gast gleich mehrere Tage, beschenkten ihn reichlich, ehe er dann entweder nach Sonnegg oder Neuhaus weiterzog.
Das Schloss war mit einer Wehrmauer mit Zinnen umgeben und hatte einst zwei Tore mit beweglichen Brücken. Der Brückenkopf wurde schon längst entfernt. Auf dem ersten Torbogen ist die Jahreszahl 1606 sichtbar. Dieses Tor ließ der erste Thurn erbauen; über dem zweiten Tor, beim Eingang ins Schloss, aber ist ein lateinisches Chronogramm mit der Jahreszahl 1747 zu sehen. Bis zum vorigen Jahrhundert hatte das Schloss an der Ostseite einen ähnlichen Turm, wie es der Glockenturm der Stadt ist. Wegen akuter Einsturzgefahr wurde er schon vor mehr als 100 Jahren abgetragen. Unter dem Schloss aber steht noch heute ein Rundturm, der als Gefängnis diente und innerhalb der seinerzeitigen Wehrmauer errichtet wurde. Ein unterirdischer Geheimgang führte aus dem Schloss in die Stadt und endete bei der heutigen Apotheke.