Pillnitz, ein alter Siedlungsplatz zwischen Borsberg und Elbe, gehörte anfangs zu Dohna. Ein Lehnbrief von 1533 berichtet schon vom Weinbau am Südhang des Borsberges. 1569 erwarb der einflussreiche Hofbedienstete von Loß die Siedlung und vergrößerte den Besitz. Das alte Renaissanceschloss wurde mehrfach erweitert. Von 1640 bis 1694 war Pillnitz im Besitz der von Bünau. Der Kurfürst Johann Georg IV. erwarb 1694 Pillnitz und schenkte es seiner Mätresse von Neischütz. Nach dem Tod des Kurfürsten und seiner Mätresse zog Friedrich August I. in das Gut wieder ein. Hier wohnte seine Mätresse Gräfin Cosel.
Ab 1718 war das Gelände wieder im Besitz des Kurfürsten, der 1720 mit dem Schlossbau in Dresden begann. Graf Wackerbarth leitete den Bau. Das Wasserpalais und das Bergpalais wurden 1725 fertig gestellt. Rauschende Hoffeste wurden in diesem nach chinesischem Stil von Pöppelmann und Longuelune gebauten Schloss abgehalten. Sein Sohn nutzte das Schloss als Sommerpalais und baute es weiter aus.
