Seit 1425 wurden im Graben der Vorgängerburg schon Bären gehalten. Früher als Jagdbelustigung des Hofes wurde die Tradition der Bärenhaltung im Burggraben seit 1950 weitergeführt.
Das Schloss gelangte nach der Niederlage der Ernestiner 1547 im Schmalkaldischen Krieg in den Besitz der Albertiner. Da diese ihre Residenz in Dresden hatten, wurde das Schloss Hartenfels nur noch als Verwaltungszentrum genutzt.
150 m nördlich vom Schloss befindet sich ein kleines Museum, die Katharina-Luther-Stube. Nach der Flucht aus dem Kloster begann das bürgerliches Leben der Katharina von Bora an der Seite des berühmten Reformators Martin Luthers. Hier endete nach einem Unfall ihr Lebensweg.
Besondere Bauteile vom Schloss:
- der Wendelstein, eine ca. 20 m hohe freitragende Wendeltreppe aus Elbsandstein von 1533-1535 ist eines der markantesten Objekte der Frührenaissance
- die Torgauer Schlosskapelle, errichtet 1543 und wurde von Martin Luther 1544 geweiht.
