Im Bereich der Burg kamen bei Grabungen Funde aus der Urnenfelderzeit, der späten Hallstattzeit, der frühen römischen Kaiserzeit und der Völkerwanderungszeit zutage. Somit wurde der Berg schon sehr lange durch Menschen genutzt. In einer Urkunde von 1312 werden die von Schlüsselberg von der Burg Streiberg als Besitzer genannt. Es ist anzunehmen das sie eine ähnliche Baugeschichte hat wie die Burg Streitberg.
Konrad II. von Schlüsselburg baute sie stark aus. Sie hatte eine Ausdehnung von 140 x 200 m. Aber im Streit mit den Bischöfen von Bamberg und Würzburg sowie der Stadt Nürnberg. Wurde der Schlüsselberger durch eine Steinkugel einer Schleuder getötet und die Burg anschließend weitgehend zerstört und war nur noch Amtssitz.
Im Zweiten Markgrafenkrieg eroberte Markgraf Albrecht Alcibiades die Burg und ließ sie niederbrennen. Seitdem ist sie eine Ruine. 1996 begann der Landkreis Forchheim mit der umfassenden Sanierung der Ruine.
