Die Burg stammt aus dem späten 13. Jahrhundert als Befestigung der Ronauer. Im 14. Jh. kam sie in den Besitz der Berka von der Duba. Nach mehreren Besitzwechseln musste sich der Burgbesitzer dem Oberlausitzer Sechsstädtebund geschlagen geben. 1471 gehörte sie erneut den Berka von Dubá. Anfang des 17. Jahrhunderts erwarb sie die Familie Saalhausen auf Bensen. Im Jahr 1639 schossen die Schweden sie in Brand.
Ab dem Jahr 1690 wurde sie zur Einsiedelei. Bis 1785 war die Burg Wohnstätte von Eremiten, die die Höhlen, Tunnel und Hallen erweiterten und umbauten. Daraus leitet sich auch der heute gebräuchliche Name Einsiedlerstein ab. Im Jahre 1785 hob Kaiser Josef II. die Einsiedelei auf.
Anfang des 20. Jahrhunderts wurde die Burganlage für Besucher zugänglich gemacht.
