Am östlichen Berghang liegt das älteste Bergbaugebiet St. Briccius im Raum Annaberg. Der hier betriebene Zinn-, Silber- und Kupferabbau lässt sich bis um das Jahr 1442 zurückverfolgen. Lange war der Pöhlberg nicht erschlossen, obwohl er sich in der Nähe von Annaberg befindet. Erst Mitte des 19. Jahrhunderts wurde eine Straße auf den Berg angelegt.
Auf dem Gipfel befindet sich eine beliebte Ausflugsgaststätte mit Hotel. Der Bau erfolgte anlässlich des 400-jährigen Gründungsjubiläums von Annaberg im Jahr 1896. Bei guter Sicht ermöglicht der 35 m hohe Aussichtsturm eine Rundumsicht zum Scheibenberg und Auersberg, bis nach Chemnitz, zum Hirtstein und im Süden zum Erzgebirgskamm mit Fichtelberg und Klinovec.
Am Fuß des Pöhlbergs gibt es im Annaberger Stadtwald ein Wildtiergehege.
An den Berghängen befinden sich zwei Skihänge mit Liften sowie eine Rodelbahn. Der Pöhlberg ist auch ein Wintersportrevier. An den Berghängen befinden sich zwei Skihänge mit Liften sowie eine Rodelbahn.
