Die Ortsgeschichte reicht bis zum Jahre 1200 zurück. Auf dem Felsen im Ortszentrum, wo heute das Rathaus steht, stand die Holzburg Rechenberg. Sie gehörte dem böhmischen Herren von Hrabischitz auf der Riesenburg (bei Osek). Das Waldhufendorf Clausnitz entstand nach Rodungen im 12. Jahrhundert von Osek aus. Die Burg lag am Ossegger Steig über das Gebirge und schützte diesen. Der Markgraf Wilhelm I. kaufte 1398 die Riesenburg mit 49 Dörfer, riesige Wald- und Landflächen einschließlich aller Gehöfte und Mühlen für 40.000 Silbertaler.
Aus dem Jahre 1438 ist die Holzflößerei auf der Freiberger Mulde verbürgt und die Kurfürsten ließen 1480 ein Amtsfischerhaus errichten, um das Fischen der Edelfische für die Hofhaltung zu kontrollieren. 1486 vernichtete ein Großbrand die Burg und die Wirtschaftsgebäude. Die Burg verblieb als Ruine.
Schon im Jahr 1558 wurde die Rechenberger Brauerei gegründet und die Kirche in Rechenberg 1615 errichtet. Im Jahr 1624 begann der Ausbau eines Flößergrabensystems. Von 1501 an gehörte die Herrschaft der Familie von Schönberg bis sie 1647 vom Kurfürst Johann Georg I. erworben wurde.
In den Jahren 1632, 1633 und 1639 litt das Dorf unter den Durchzügen der Kriegsscharen.
Das kurfürstliche Kammergut erstreckte sich über die Fluren bis zur Gimmlitz bei Hermsdorf, bis Niederchlausnitz und bis Moldau (Moldava). Bestanden haben damals schon die Obere Mühle in Holzhau, die Untere Mühle sowie eine Brettmühle. Rechenberg erhielt 1656 das Jahrmarktsprivileg. Während der Napoleonischen Kriegen zogen 1809 und 1813 Truppen durch den Ort und requirierten Lebensmittel und Viehfutter.
Die Verkehrsverbindung verbesserte sich als man ab 1855 die Neue Poststraße (heute die B171) ausgebaut hatte. Die Bahnstrecke von Nossen-Freiberg-Mulda erreichte 1875 Bienenmühle. Das brachte einen Wirtschaftsaufschwung. Die Weiterführung über Hermsdorf / Rehefeld nach Moldau erfolgte 1885. Nachdem ein Eisenbahnviadukt 1945 gesprengt wurde, folgte die Einstellung des Verkehrs nach Tschechien und bis 1972 der Rückbau bis Holzhau. Der Güterverkehr verringerte sich immer mehr. Bis 2000 wurde nur noch Personenverkehr durch die Deutsche Bahn realisiert. Heute wird der Fahrbetrieb von der Regio Infra Service Sachsen GmbH und der Freiberger Eisenbahngesellschaft bis Holzhau durchgeführt.
