Friedrich Wilhelm II. verpflichtete dafür einen Gärtner aus dem Fürstentum Anhalt-Dessau. Es wurde auf freien Wuchs Wert gelegt. Sogar Kühe weideten im Garten, deren Milch verarbeitete die Meierei im Norden der Anlage.
Ab 1816 erfolgte eine Umgestaltung durch Peter Joseph Lenné. Es entstanden breite Wege und Sichtachsen zur Pfaueninsel, nach Glienicke, Babelsberg und Sacrow. Im Stil des Frühklassizismus erfolgte von 1787 bis 1791 nach Plänen von Gonthard und Langhans der bau vom Marmorpalais.
Angelehnt an die Symbolik der Freimaurer entstanden einige Gebäude wie die Schlossküche, die Bibliothek und der Eiskeller. Die Orangerie wurde 1791-1793 errichtet.
Mit seiner kostbaren Ausstattung zählt das Palais zu den bedeutendsten Bauten des Frühklassizismus.