Ursprünglich hieß die Stadt Halleberg, welches auf Bergbau schließen läßt. In der Ersterwähnung 1443 wurde der Ort als Besitz der von Ileburg auf Červený Hrádek (Rothenhaus) genannt. Nach Funden von Silbererz im 16. Jh. begann der Bergbau auf Silber, Kupfer, Zinn und Blei, später erfolgte auch der Abbau von Eisen und Alaun und in der Nähe wurde Gold gewaschen.
1528 wurde Katterberg zur königlichen Bergstadt erhoben. Im 16. Jh. gehörte der Berg der Herrschaft Sebastian von Weitmühl. Später kam sie an den kursächsischen Rat von Carlowitz und um 1577 an die Familie von Lobkowicz. Vom Kaiser Rudolf II. erhielt es die von Harasov (Harras), welche durch ihre rigorose Rekatholisierung und Fronforderungen den Bergbau ruinierten.