Im Jahr 1406 verpfändeten die Meinheringer die Burg und Grafschaft an die Schönburger. Mit dem Aussterben der männlichen Linie der Meinheringer durch den Tod des Grafen und seines Sohnes in der Schlacht von Aussig fiel die Grafschaft ganz an die von Schönburg.
Mehrmals wurde die Burg umgebaut, zuletzt als Schloss im Neugotischen Stil. In den letzten Kriegstagen vom 2. Weltkrieg verschanzten sich SS-Einheiten im Hartensteiner Wald, worauf das Schloss durch amerikanische Bomben am 20. April 1945 fast vollständig zerstört wurde. Die intakten Gebäude vom äußeren Schlosshof wurden später zu Wohnzwecken genutzt.
Die Ruine selbst diente als Freilichtbühne.
Seit 2002 bemüht sich der Förderverein "Schlossruine Hartenstein e.V." um den Erhalt und teilweisen Wiederaufbau des Schlosses.