Gründungsdatum der Stadt ist vermutlich 1281 als der Herzog von Löwenberg den Johannitern aus Striegau Boden am Oberlauf des Zacken überschrieb. Für das Jahr 1299 ist Hirschberg als Stadt belegt und sie
erhielt 1338 das Meilenrecht, 1355 das Salz- und Bergwerksrecht sowie die Freiheit von Abgaben im Handel mit Böhmen und 1361 das Waag- und Münzrecht. Nach dem Tod Herzog Bolkos II. 1368 kam Hirschberg als erledigtes Lehen an die Krone Böhmen.
Während der Hussitekriege erfolgte die Zerstörung der Burg am Hausberg.1502 gewährte der böhmische König Vladislav II. der Stadt das Recht der freien Ratswahl.
Ab 1524 begann die Reformation im Hirschberger Tal. Wirtschaftliche Bedeutung hatte die Leinenproduktion, insbesondere feiner Schleier. Das Leinen wurde im Nebenerwerb von Kleinbauern, Frauen und Kindern in Heimarbeit hergestellt.
1658 erfolgte die Gründung einer Kaufmannssozietät, die das Monopol auf den Leinenhandel hatte. Die Kaufmannschaft finanzierte den Bau der Gnadenkirche 1708-1718 vor der Stadt. Ebenso wurde der Bau des Hirschberger Gymnasium 1707 begonnen.
1742 kam Hirschberg zu Preußen, was für den Leinenabsatz nach Böhmen und Österreich negativ war.
Importschwierigkeiten der Baumwolle und die napoleonische Kontinentalsperre ruinierten das Geschäft. Die Industrialisierung im 19. Jh. brachte neue Wirtschaftszweige nach Hirschberg.
Der Anschluss an das Eisenbahnnetz 1866 förderte den Tourismus. Im Hirschberger Tal entstanden im 19. Jh. etwa 30 Schlösser vom preußischen Hochadel.
Im April 1945 nahm die Rote Armee Hirschberg ein. Die polnische Verwaltung führte den Stadtnamen Jelenia Góra ein. Die deutsche Bevölkerung wurde bis auf wenige Ausnahmen vertrieben. Jelena Góra hatte keine Kriegszerstörungen erlitten.
Nach 1965 erfolgte eine vereinfachte Rekonstruktion der Ringbebauung.
