Seit 1425 wurden im Graben der Vorgängerburg schon Bären gehalten. Früher als Jagdbelustigung des Hofes wurde die Tradition der Bärenhaltung im Burggraben seit 1950 weitergeführt.
Das Schloss gelangte nach der Niederlage der Ernestiner 1547 im Schmalkaldischen Krieg in den Besitz der Albertiner. Da diese ihre Residenz in Dresden hatten, wurde das Schloss Hartenfels nur noch als Verwaltungszentrum genutzt.
150 m nördlich vom Schloss befindet sich ein kleines Museum, die Katharina-Luther-Stube. Nach der Flucht aus dem Kloster begann das bürgerliches Leben der Katharina von Bora an der Seite des berühmten Reformators Martin Luthers. Hier endete nach einem Unfall ihr Lebensweg.