Das heutige Schloss Schlettau liegt im Zentrum der gleichnamigen Kleinstadt am Oberlauf der Zschopau westlich von Annaberg-Buchholz. Es geht auf eine Turmhügelburg der Reichsministralen von Crimmitschau aus dem 13. JH. zurück. Das Gebiet gehörte um 1350 den Schönburgern auf der Burg Hasištejn.
In der Zeit der Belehnung durch Johann von Böhmen und Karl IV. wurde der gotische Palas der Burg erbaut. Ab 1413 gehörte die Burg den Zisterziensern aus Grünhain.
Nach der Auflösung der katholischen Klöster 1536 kam das Gebäude in den Besitz der sächsischen Kurfürsten, welche es als Jagdschloss nutzten. Hier war eine Oberforstmeisterei. Der Hauptteil der Gebäude im Renaissancestil stammt von 1620. Im 18. Jh. wurden barocke Umbauten vorgenommen.
1796 erfolgte die Verlegung vom Sitz der Oberforstmeisterei nach Schneeberg und der Verkauf vom Schloss.