Zentral steht das 1680 errichtete Sommerpalais. Es ist eines der frühesten Barockbauwerke in Sachsen. 1693/94 wurden nach einem Entwurf Karchers acht Pavillons, die sogenannten Kavaliershäuser, errichtet. Hinzu kam der Palaisteich und der Venustempel. Eine 2 m hohe Gartenmauer trennte die Hofgesellschaft vom Volk.
Der Große Garten wurde in seiner über dreihundertjährigen Geschichte vielfach umgestaltet, die barocke Grundstruktur blieb aber erkennbar. Er wird in den Hauptrichtungen und in den Diagonalen von Alleen durchzogen. Die Hauptalleen setzen sich in Straßen fort, so dass sich die Sichtweite verstärkt.
Während der Regierungszeit von Friedrich August I. erreichte der Gartenausbau "seine höchste Vollendung".
Ab 1729 wurde das Palais und die Kavaliershäuser für die antike Skulpturensammlung genutzt. Über 160 Figuren wurden im Park aufgestellt. Der Siebenjährigen Krieg und die Schlacht um Dresden im August 1813 und anschließende Belagerung der Stadt verursachten Verwüstungen der Gartenanlage und Zerstörung vieler Skulpturen. Auf Anordnung des russischen Generalgouverneurs Repnin-Wolkonski wurde der Große Garten für das Publikum geöffnet, die stark beschädigte Mauer abgetragen.
Ab 1873 war der Gartenarchitekt Bouché für die Neugestaltung des Gartens zuständig. Der bekannte Dresdner Gärtner Hermann Seidel stiftete Magnolien, Azaleen und Koniferen.
Im Jahr 1887 fand im Großen Garten die erste internationale Gartenbauausstellung statt.
