Seit der Landesaufnahme von 1786 kennt man den Namen Schwartenberg. Der Name stammt vermutlich von einem hier befindlichen Bergwerk. Zeitweise wurde er auch Kaiserstein genannt, da ihn 1779 der Kaiser Joseph II. bestieg. Am Westhang des Schwartenberges bildete ein von Nord-Nordost nach Süd-Südwest streichender Gang der kiesig-blendigen Bleierzformation, die Grundlage für den Bergbau um 1770. Man versuchte Kupferkies, Silber, Zinngestein und Eisenrahm zu gewinnen. Der unergiebige Abbau wurde am Ende des 18. Jahrhunderts wieder eingestellt.