Schon in der Zeit der Besiedlung der Sächsischen Schweiz waren die Menschen mit der Felsenwelt vertraut. Die bronzezeitlichen Siedler auf dem Pfaffenstein wussten die Felsen als Schutzraum zu nutzen. Die Bewohner der Felsenburgen und die späteren Raubritter bauten auf unzugänglichen Felsen. Die Bauern in der Zeit des Dreißigjährigen Krieges versteckten sich mit ihrer Habe und dem Vieh in schwer zugänglichen Klüften und Höhlen. 1848 erstieg der Schornsteigfeger Abratzky die Festungsfelsen am Königstein, welches das Militär nicht lustig fand und ihn auf der Festung arrestierte.

Ein Meilenstein war die Gründung des Sächsischen Bergsteigerbund 1911 und er wurde die Dachorganisation der kleineren Klubs. Die strengen Kletterregeln setzten sich in den folgenden Jahrzehnten durch und es entstand ein spezielles Regelwerk für das Felsklettern in der Sächsischen Schweiz. Die Fertigkeiten, welche die Bergsteiger im Elbsandstein erwerben, dienen oft als gute Grundausbildung für Bergfahrten in höhere Gebirge.