1429 belagerten die Taboriten die Burg erfolglos. 1430 verpfändete König Sigismund die Burg und Herrschaft an Ulrich von Rosenberg. Die überschuldete Herrschaft verkaufte man 1472 an die von Schwanberg. Sie verbanden durch Erbkauf den Besitz mit Orlik.
Nach der Schlacht am Weißen Berg 1618 widerstanden die 150 Mann der Burgbesatzung fast zwei Jahre der Belagerung durch 2500 Söldner der Kaiserlichen. Im Sommer 1622 plünderten die kaiserlichen Truppen die Burg. Der neue Besitzer wurden die von Eggenberg. Schon nach 1646 war die Burg verlassen und verfiel.
Nachdem 1717 die Eggenberger keine männlichen nachkoomen hatten, erbte das Haus Schwarzenberg die Besitzungen. 1751 zerstörte ein Großfeuer Teile der Burg. Fürst Karl Philipp zu Schwarzenberg ließ die Burgkapelle instand setzen und die spätgotischen Wandmalereien sichern. Im Jahre 1829 stürzte das Neue Tor ein, ein Teil des Palastes rutschte ins Tal.
Ab 1880 begannen die Schwarzenbergs mit der Wiederherstellung des Königspalastes und der Burgmauern. 1948 wurde die Familie Schwarzenberg enteignet, seitdem befindet sich die Ruine im Staatsbesitz.