Herzog Moritz ließ von 1543 – 1546 aus den Burgresten das Jagdschloss Klippenstein bauen und es entstand eine Dreiflügelanlage im Renaissancestil. Kurfürst August nutzte Klippenstein zur Jagd. Auf seinem Befehl wurden hier für die Fürstlichen Jagden über 100 Jagdhunde gehalten. 1628 gestaltete man das Schloss um und nach dem Dreißigjährigen Krieg war es nur noch Sitz des kurfürstlichen Amtes.
Die heutige Gestalt der Anlage stammt vom Umbau von 1772 bis 1776. In den Folgejahren bis 1879 war das Gebäude Amt, Rentamt, Justizamt mit Amtsgefängnis, Gerichtsamt und zu letzt Amtsgericht. Nach dessen Auflösung erfolgte im Dezember 1953 die Nutzung einiger Räume als Museum und es entstand auch ein Jugendklub.
Die Stadt Radeberg wurde 1993 Eigentümer vom Schloss und der Verein Schloss Klippenstein e.V. gegründete sich. Es begannen 1994 umfangreiche Sanierungsarbeiten. 2015 kam die Dauerausstellung zur Industriegeschichte Radebergs ins Museum.
