Mit 789 m ist der Schwartenberg einer der höchsten Aussichtsberge im Osterzgebirge. Er befindet sich östlich von Olbernhau zwischen Neuhausen und dem Kurort Seiffen.Er ist ein von der Tiefenerosion losgelöster, zerfurchter und erniedrigter Rest der Hochfläche des Erzgebirges und besteht aus Gneis mit einem Anteil Feldspat. Von Neuhausen und dem Flöhatal aus dominiert er die Gebirgsansicht. Aufgrund der sehr guten Rundumsicht gab es Ende des 19. Jh's erste Pläne zur Errichtung einer Bergbaude auf dem Gipfel des Schwartenberges. Der Erzgebirgsverein erwarb das Grundstück und 1925 begann der Bau eines Gipfelhauses, welche noch heute als Gaststätte genutzt wird.

Seit der Landesaufnahme von 1786 kennt man den Namen Schwartenberg. Der Name stammt vermutlich von einem hier befindlichen Bergwerk. Zeitweise wurde er auch Kaiserstein genannt, da ihn 1779 der Kaiser Joseph II. bestieg. Am Westhang des Schwartenberges bildete ein von Nord-Nordost nach Süd-Südwest streichender Gang der kiesig-blendigen Bleierzformation, die Grundlage für den Bergbau um 1770. Man versuchte Kupferkies, Silber, Zinngestein und Eisenrahm zu gewinnen. Der unergiebige Abbau wurde am Ende des 18. Jahrhunderts wieder eingestellt.