Zentral steht das 1680 errichtete Sommerpalais. Es ist eines der frühesten Barockbauwerke in Sachsen. 1693/94 wurden nach einem Entwurf Karchers acht Pavillons, die sogenannten Kavaliershäuser, errichtet. Hinzu kam der Palaisteich und der Venustempel. Eine 2 m hohe Gartenmauer trennte die Hofgesellschaft vom Volk.
Der Große Garten wurde in seiner über dreihundertjährigen Geschichte vielfach umgestaltet, die barocke Grundstruktur blieb aber erkennbar. Er wird in den Hauptrichtungen und in den Diagonalen von Alleen durchzogen. Die Hauptalleen setzen sich in Straßen fort, so dass sich die Sichtweite verstärkt.
Während der Regierungszeit von Friedrich August I. erreichte der Gartenausbau "seine höchste Vollendung".