Der Georgenbau mit Tor entstand zwischen 1530 und 1535. Bedeutende Umbauarbeiten sind in der Herrschaftszeit der Kurfürsten Moritz und August datiert. Die Fassadengestaltung mit der imposanten Sgraffitotechnik ist aus dieser Zeit. Der Stallhof und das Torhaus wurde durch den Festungsbaumeister Paul Buchner gebaut. Der Georgenbau, der Riesensaal und der Schössereiturm fielen 1701 einem Brand zum Opfer.
Unter August dem Starken wurden zahlreiche Innenräume neu gestaltet. Anlässlich der 800-Jahr-Feier des Hauses Wettin in den Jahren 1889–1901 nahm man einen großen Schlossumbau mit einheitlicher Neorenaissance-Fassade vor. Durch die Luftangriffe im Februar 1945 brannte das Schloss aus.
1991 erhielt der Hausmannsturm seine Spitze zurück, 2004 folgten die Kunstbibliothek und das Kupferstichkabinett.
Im März 2006 erfolgte die Wiedereröffnung vom Historischen Grünen Gewölbe. Die Fürstengalerie wurde 2009 übergeben. Die Wiederherstellung der Englischen Treppe und der Türckischen Cammer folgten 2010. Seit Februar 2013 befindet sich im Riesensaal ein Teil der Rüstkammer.
Der Hausmannsturm wurde um 1400 als Hauptturm der Burg errichtet und in den Jahren 1674–1676 vom Festungsbaumeister von Klengel vollendet. Er war mit seinen 100 Metern Höhe bis 1945 der höchste Turm Dresdens.
Von der Aussichtsplattform ist ein weiter Rundblick über Dresden möglich.
