Danach wechselten mehrmals die Besitzer. Einige benutzten die Burg als Raubritterquartier. Ab dem 15. Jh. war die Burg nicht mehr bewohnt und begann zu verfallen. In der Zeit der Romantik begannen die Waldsteiner die Anlage zu renovieren. Den alten Bergfried bauten sie zu einem Aussichtsturm um. Die Burgmauern wurden neu befestigt.
Nach der Gründung der Tschechoslowakei sorgte sich der Klub Tschechischer Touristen (KČT) um das Bauwerk, jedoch verfiel die Burg weiter. Erst nach der samten Revolution initiierte der Tschechische Naturschutzverband und der staatliche Denkmalschutzes eine umfangreiche Rekonstruktion der Burg.