1690 fiel das Lehen an das Hochstift Bamberg. Der Fürstbischof Marquard Sebastian Schenk von Stauffenberg ließ die Burg Greifenstein 1691- 93 durch Leonhard Dientzenhofer restaurieren und zum Schloss umbauen und es war danach Privatbesitz des Bischofs. Mit der Säkularisierung des Hochstifts Bamberg blieb es Eigentum der Familie Stauffenberg. Der fränkischer Zweig der Stauffenbergs bewohnt das Schloss noch heute.
Am Schloss befand sich einst ein gepflegte Park. Der Schlossbesitzer ließ den Park nach barockem, französischem Muster anlegen. Die Lindenallee und einige Tempel zierten den Park. Wenn man heute von Osten auf das Schloss zukommt, ahnt man noch die Dimensionen. Dieser Park ist heute größtenteils wieder zum Wald geworden.
Teile des Schlosses mit einer großen Sammlung von Jagdwaffen, Trophäen, der Schlosskapelle, originalen Möbeln und der Bibliothek sind auch dem Besucher zugänglich. Im Innenhof befindet sich ein 92 Meter tiefer Ziehbrunnen, der im Jahr 1691 von Mainzer Bergleuten durch den Fels getrieben wurde.