Die Burg hat keine natürlichen Wasserversorgung. Es wurde versucht durch Bergleute aus Kutná Hora einen Schacht von 80 Meter Tiefe für einen Brunnen abzutäufen. Es fand sich aber keine wasserführende Schicht. Die Zuleitung von Wasser erfolgte von einem nahegelegenen Bach in die Zisterne. Dieser Schwachpunkt der Befestigung wurde geheim gehalten.
Der Baubeginn der Burg Karlstein erfolgte 1348 nachdem Karl IV. zum König gewählt wurde. Die hauptsächlichsten Bauarbeiten zogen sich über zehn Jahre hin. Der Bau der Kapelle des Heiligen Kreuzes dauerte bis 1365. Die Außenmauern sollten allen Versuchen der Erstürmung standhalten.
Die Burganlage wurde als Schatzkammer der Reichskleinodien und der riesigen Reliquiensammlung des Kaisers angelegt. Trotzdem erfolgte 1421 während der Hussitenkriege zur Sicherheit die Verlegung der Reichskleinodien nach Nürnberg, wo sie sich noch heute befinden.
1422 versuchten die Prager Hussiten die Burg erfolglos zu belagern. Dabei schleuderten sie 1800 mit Jauche gefüllte Fässer in die Burganlage, doch die Auswirkungen konnten mit ungelöschten Kalk neutralisiert werden.
Ende des 16. Jh. wurden auf Anordnung des Kaisers Rudolf II. die Mauern nochmals erneuert und verbessert. 1619 kamen die verbliebenen böhmischen Krönungsschätze mit dem Archiv nach Prag.