Angelegt wurde die Befestigung wahrscheinlich um 1300, um die Zinnbergwerke, die Stadt selbst und den alten Handelsweg nach Sachsen zu schützen. Die erste urkundliche Erwähnung stammt aus einer Lehensurkunde des Jahres 1330.
1429 wurde die Burg zerstört und anschließend zwischen 1434 und 1440 wieder aufgebaut. Von 1471 bis 1482 erfolgte ein spätgotischer Umbau.
Im 15. und 16. Jh. gehörten das sächsische Adelsgeschlecht von Colditz, das böhmische Geschlechts der von Kolowrat und der Kaiser Rudolf II. zu den Besitzern. Während des Dreißigjährigen Krieges wurde die Burg erneut zerstört. Auf dem Hofplatz erbaute man 1695–97 das Bergamtshaus und 1710 erwarb Graf Franz Clary-Aldringen die Burg. Er ließ sie teilweise wieder aufbauen. Teile der Anlage verfielen.
Im Frühjahr 1813 besuchte Johann Wolfgang von Goethe die Burg und die Bergbauanlagen von Graupen.