Von Anfang an hat die Altenburg mit dem Bistum Bamberg zu tun. Die erste Urkunde ist die Schenkung der Burg an das Stift St. Jakob durch den Bischof von 1109. Der Bischof nutzte sie von 1305 bis 1553 als seine zweite Residenz.
Die Bauern belagerten die Altenburg zwar 1515, konnten sie aber nicht erobern. Im zweiten Markgrafenkrieg übergab die Besatzung die Burg an den Markgrafen Albrecht Alcibiades. Dieser ließ sie zerstören.
Am Ende des 18. Jahrhundert stürzte ein Teil der Ostmauer ins Tal. Das Hochstift verkaufte die Altenburg an den Arzt Adalbert F. Marcus. Dieser richtete eine Wohnung im Torhaus ein.
Dessen Freund E.T.A. Hoffmann nutzte einen der Mauertürme.
Anton von Grafenstein übernahm die Burgreste 1818 und gründete einen Verein zur Erhaltung der Altenburg. Das war der erste Denkmalschutzvereins in Bayern.
Der heutige Palas (Saalbau) wurde um 1900 auf den noch erhaltenen Keller des früheren Hauses erbaut. Eine erste Burgkapelle, geweiht der heiligen Walburga, errichtete man 1124. Der Standort ist unbekannt. Die Nachfolgekapelle ging 1553 verloren. Ab 1617 fanden Gottesdienste in einem Zelt statt.
Die heutige Kapelle mit dem Eingang im Torhaus entstand 1834. Das Brunnenhaus wurde 1880 abgebrochen und mit einem Überbau versehen. Der Brunnen ist 30 m tief.
Der Dichter E.T.A. Hoffmann lebte von 1808 bis 1813 in Bamberg und bewohnte öfters die E.T.A.- Hoffmann - Klause.
