Um 1470 begann der Bergbau. Nach der Entdeckung von Silbergängen am Schreckenberg 1491 zogen viele Menschen im Zuge des Berggeschreys zu. Auf Weisung des Herzog Georg des Bärtigen wurde die Stadt gegründet. Den Stadtplan entwarf der Freiberger Bürgermeister Ulrich Rülein von Calw. Das Stadtrecht erhielt die „Newe Stat am Schrekenbergk“ schon 1497 und ein Jahr später gründete man die Münzstätte Annaberg in Frohnau. Ab 1590 hatte sich der Ortsname Annaberg durchgesetzt. Schon in der ersten Hälfte des 16. Jahrhunderts war sie die zweitgrößte Stadt im Erzgebirge nach Freiberg.
Nach dem Niedergang des Bergbaus und nach dem Dreißigjährigen Krieg wurde Annaberg zur kleinen Handwerkerstadt. 1731 vernichtete ein großer Stadtbrand Teile der Stadt. Erst im 19. Jh. kam es durch die Textilindustrie und Posamentenherstellung wieder zu einem Wirtschaftsaufschwung. Der Anschluss an die Zschopautalbahn 1861 beförderte diese Entwicklung.
Schon 1495 entstand unterhalb von Annaberg im Sehmatal die Bergbausiedlung St. Katharinenberg im Buchholz. Buchholz stand immer im Schatten seiner Nachbarstadt. 1620 zogen viele böhmische Exilanten zu. Im Dreißigjährigen Krieg wurde es schwer verwüstet. Die wirtschaftliche Entwicklung verlief ähnlich wie in Annaberg. Die Stadträte beider Städte beschlossen 1949 die Vereinigung zu Annaberg-Buchholz.