Der Markgraf Georg Wilhelm ließ 1715 ein Sommerschlösschen, das Alte Schloss, erbauen sowie dazugehörige Wirtschaftsbauten. Die Bauarbeiten wurden 1722 fertig. Der künstliche Hügel Parnass mit Statuen und der umliegende Garten wurde 1719 mit einem Volksfest eingeweiht.
1732 zog die Prinzessin Wilhelmine von Preußen in das Schlösschen Monplaisir ein. Nach dem Tod seines Vaters schenkte Markgraf Friedrich 1735 die Eremitage seiner Gattin Wilhelmine. Sie begann sofort die Erweiterung des kleinen Schlosses um zwei Seitenflügel.
Im Schlösschen schrieb sie ihre Memoiren. Zwei prächtigen Lacktafeln waren ein Geschenk ihres Bruders, Friedrich des Großen. Auf einer Erweiterungsfläche von 10 ha im Süden legte man einen „Kanalgarten“ an. Wilhelmine veränderte den Charakter des Parks und ließ ca. 6 km Hecken pflanzen.
Ab 1737 wurde die „Untere Grotte“ erbaut und das „Römische Theater“, eine Freilichtbühne in Form einer Ruine. Im Jahre 1743 besuchte Friedrich II. mit Voltaire die Eremitage und bei einer Theateraufführung spielte die Markgräfin mit.
Von 1749 bis 1753 wurde westlich des bisherigen Schlosses das Neue Schloss erbaut und die Seitenflügel führte man als Orangerien aus.
Beim späteren Umbau wurde es zum Wohnschloss. Auf dem runden Kuppelgebäude befindet sich eine vergoldete Quadriga. Gleichzeitig errichtete man die Laubengänge um das große Wasserbecken und eingebaut sind 56 Fontänen.
Der Markgraf Karl Alexander von Ansbach, welcher 1769 die Regierung in Bayreuth übernommen hatte, zeigte kein Interesse an der Eremitage. Noch schwerer traf es das Schlossensemble, welches ab 1790 als der Staatsminister Hardenberg die Eingliederung der Provinz in das Königreich Preußen leitete. Das bewegliche Garteninventar, darunter die Statuen, versteigerte man.
Die neuen Besitzer wollten den Park, den sie als „französisches Schnirkelwerk“ bezeichneten, anglisieren.
Hardenbergs Tochter Lucia lebte mehrere Sommer lang im Neuen Schloss. Neben der Eremitage lernte sie auch den Hofgarten und das Schloss Fantaisie kennen. Dies beeinflusste sie später an der Seite ihres zweiten Ehemannes Fürst von Pückler-Muskau an der Gestaltung von Park Muskau und Branitz Anteil zu nehmen.
Der Garten wurde teils landwirtschaftlich genutzt. 1810 verkaufte ihn Napoleon an den Bayerischen König. Teile des Gartens wurden privat verkauft. Die Anlage verwilderte vollkommen. 1944 wurden Teile des Reichsfilmarchivs im Schloss eingelagert. Am 14. April 1945 bei der Einnahme Bayreuth wurde die Schlossanlage bombardiert.
Der Wiederaufbau zog sich mehrere Jahrzehnte hin.
Die Verwaltung der Gartenanlage ist in den Händen der Bayerische Verwaltung der staatlichen Schlösser, Gärten und Seen.
