Schon im 15. Jh. war an dem Ort ein Jagdhaus. Das vierflügelige Schlossgebäude mit den markanten Türmen ließ der Fürstbischof Marquard Sebastian Schenk von Stauffenberg von 1687 bis 1696 errichten. Der Nachfolger, Lothar Franz von Schönborn ließ die Gartenanlage erbauen. In den Jahren 1746 bis 1753 erfolgten Umbauten der Inneneinrichtung. Später wurde bis 1779 die Brunnenanlage fertiggestellt. Die Figuren stammen vom Hofbildhauer Ferdinand Tietz. Die Orangerie am Memmelsdorfer Tor sind die bedeutendsten Orangeriebauten in Franken.
Das Schloss und der Garten kamen 1803 in den Besitz der Wittelsbacher und 1840 an einen preußischen Offizier. Der letzte Besitzer betrieb einen Ausverkauf wertvolle Stücke wurden in alle Welt veräußert. 1975 erwarb der Freistaat Bayern das Schloss und den Garten. Nach und nach konnten ehemalige Kunst- und Einrichtungsgegenstände zurückgekauft werden. Die Verwaltung erfolgt durch die Bayerische Schlösserverwaltung. Im Jahr 2020 begann die umfassende Restaurierung.
