Der Keilberg trug früher auf böhmisch die Bezeichnung Bartum oder Barton, d.h. Bartholomäusberg oder Sonnenwirbel. 1817 wurde auf dem Gipfel eine Aussichtspyramide aufgestellt und Kurgästen aus Karlsbad besuchten dieses Aussichtsgerüst. 1883 begann der Bau des noch heute vorhandenen steinernen Aussichtsturms, der "Kaiser-Franz-Josephs-Turm.
Das Berggasthaus wurde vor Ausbruch des Ersten Weltkrieges aufgestockt und erweitert. Zu Beginn des Zweiten Weltkrieges standen im Keilberghotel 112 Betten zur Verfügung.
Durch die Nachkriegsereignisse brach aus Deutschland der Besucherstrom fast völlig ab. Erst nach der Abschaffung der Visumpflicht 1972 für Bürger der DDR und der damit verbundenen Wiedereröffnung des Grenzüberganges in Boží Dar konnte der Berg auch von deutscher Seite wieder verstärkt besucht werden.
Heute sind Hotel und Turm leider im Verfall begriffen.