Die ersten Besitzer im 11. Jh. waren die Edelfreien von Erlingshofen, die sich nun von Arnsberg nannten. Im 13. Jh. zogen sie nach Heideck um. Vor 1305 verkauften sie die Herrschaft an Herzog Otto III. von Niederbayern. Die Herzöge verpfändeten die Burg mehrmals. Herzog Ludwig der Bärtige musste den zum Raubritter gewordenen Besitzern die Burg gewaltsam wegnehmen.
Das Hochstift Eichstätt kauften 1475 die Burg vom Herzog Albrecht. 1663 restaurierte man die Burg. Zeitweise diente sie für Jagd- und Sommeraufenthalte. Um 1763 wurden schon Teile der Burg abgerissen. Nach der Säkularisation 1803 nahm der Verfall noch weiter zu und die Burg diente als Steinbruch. Einige Felsabbrüche verschlimmerten noch den Zustand.
Die gut erhaltene Vorburg wird heute als Hotel genutzt. Die Ruine der Hauptburg ist frei zugänglich.
