Lothar Franz von Schönborn hatte bei dem Dorf Pommersfelden ein Wasserschloss geerbt, dessen mittelalterliche Enge seinem Repräsentationsbedürfnis nicht zusagte. Ein Grund für den Neubau war, dass die Neue Residenz in Bamberg ihm zu schlicht geraten war. Es war des Kurfürsten Absicht, einen Ruhesitz zu schaffen, in dem er seinen persönlichen Neigungen nachgehen konnte. Das Schloss war nur drei Karossenfahrstunden von Bamberg entfernt. Lothar Franz kümmerte sich ausführlich um die Entwürfe.
Vermutlich liegt es an der Abgeschiedenheit des Schlosses, dass es weitgehend bei Kriegen unbehelligt blieb. Im Jahr 1715 begann man den Barockgarten anzulegen. Der Nachfolger Friedrich Carl von Schönborn beauftragte Balthasar Neumann mit der weiteren Parkgestaltung.
1786 begann die Umgestaltung zu einem englischen Landschaftspark.
