Die Gründung der Burg Frauenstein erfolgte im Zuge der ersten Kolonisation des Erzgebirges. Nach den 1168 erfolgten Silberfunden bei Freiberg wurde das unbesiedelte waldbedeckte Gebirge für die Meißner Markgrafen und dem böhmischen König zum Interessengebiet. Durch Grenzschutzburgen versuchte man diese Gebiete abzusichern. So entstanden die Burgen Sayda, Purschenstein, Rechenberg, Bärenstein und Lauenstein auf der Markmeißner Seite.
Frauenstein hatte eine wichtige Funktion. Sie sicherte den Böhmischen Steig von Freiberg über den Pass von Klostergrab nach Teplitz, die spätere Alte Freiberg-Teplitzer Poststraße.
Die Burg und später das Schloss befanden sich im Besitz der Markgrafen von Meißen. Sie vergaben den Besitz als Lehen. Von 1329–1426 war sie erblicher Lehnsbesitz der Burggrafen von Meißen, aus der Familie der Meinheringer auf Hartenstein, welche die Burg ab etwa 1380 als Stammsitz nutzte.
1426 fiel Burggraf Heinrich II. von Hartenstein in der Schlacht bei Aussig gegen die Hussiten. Da er kinderlos war, gelangte der Lehnbesitz zurück an den Kurfürsten. Ab 1439 wurde die Burg Zentrum des Amtes Frauenstein. Die von Schönberg, welche ab 1473 mit der Burg belehnt waren, errichteten 1585-88 unterhalb der Burg ein Schloss im Renaissancestil. Ab 1647 bis 1873 war sie wieder Sitz des kurfürstlichen Amtes. Der Verfall der ungenutzten Burg wurde durch dem Stadtbrand von 1728 weiter beschleunigt.
