Das Gebäude entstand 1780 als Kurfürstliches Brauhaus. Schon im Jahr 1852 stellte die Brauerei die Arbeit ein, das Haus wurde zum Gasthaus „Zur Alpenrose“. Im Jahr 1894 verkaufte die Gräfin von Dürckheim das Anwesen an das bayerische Königshaus.
Der nördliche Teil des Gebäude wurde 1898 auf den Kellergewölben des ehemaligen Gasthauses „Zur Alpenrose“ als Hotel erbaut. Schon 1904 entstand die mehrgeschossige Hotel-Erweiterung zum Alpsee hin. Die beiden Häuser verband ein mondäner Speisesaal.
Die Ursache für die Hotelerbauung war das touristische Nutzung des Schlosses Neuschwanstein und der stark wachsende Besucherverkehr. Das Hotel nutzte auch der Prinzregent Luitpold von Bayern für die Jagdgesellschaften der jährlichen Herbstjagden.
1924 wurde das Hotel Eigentum des „Wittelsbacher Ausgleichfond“. Dieser ließ ab 2007 den Gebäudekomplex zum Museum ausbauen. Ein Restaurant und Café sowie einige Hotelzimmer sind ebenfalls enthalten.