Der Name Bärenstein ist wahrscheinlich auf die Adelsfamilie Bernstein zurückzuführen. Ihnen gehörten schon 1548 die Güter in Thürmsdorf und Struppen. Der Tafelberg Kleine Bärenstein ist 7 m höher als der Große Bärenstein (331 m). Der Namensunterschied ist auf den Umfang der Felsgruppen zurückzuführen.
Bereits 1851 gab es auf dem Kleinen Bärenstein ein einfaches Gasthaus. Zur gleichen Zeit begann der in Naundorf tätige Revierförster Wilhelm Mahn den Fels für den Fremdenverkehr zugänglich zu machen. 1867 entstand ein massives Berggasthaus. Um 1902 wurden sogar zwei Bären in einem Zwinger gehalten. Der Kleine Bärenstein entwickelte sich zu einem beliebten Ausflugsziel. Nach 1945 verfiel leider der Gasthof.