Nachdem der letzte Herzog von Andechs-Meranien 1248 starb, kamen die Herrschaftsgebiete um Berneck, Goldkronach, Wirsberg und Himmelkron mit der Burg als Erbe an die Grafen von Orlamünde. 1338 verpfändete der Graf die Burg an die Burggrafen von Nürnberg. So gehörte sie endgültig ab 1340 den Hohenzollern.
Allmählich lief die Plassenburg der Cadolzburg als Residenz den Rang ab. Der Burggraf Johann III. war ab 1398 Markgraf von Brandenburg-Kulmbach. Friedrich I. Markgraf in Brandenburg vereinte ab 1420 die Markgrafschaften Brandenburg-Ansbach und Brandenburg-Kulmbach mit Brandenburg. Auf der Plassenburg residierte ein Statthalter.
Der Markgraf Georg der Fromme begann 1530 die Burg zur Festung auszubauen. Zehn Jahre dauerte der Ausbau und es entstanden für die damalige Zeit mächtige Geschützrondelle. Sein Nachfolger Albrecht Alcibiades führte den Festungsbau zielstrebig weiter. Die Residenz von Brandenburg-Kulmbach verlegte er 1542 nach Bayreuth.
Der Ausbau der Festung lohnte sich als Widerstand im zweiten Markgrafenkrieg während der siebenmonatigen Belagerung. Nach der Niederlage des Markgrafen wurde die Festung den Reichstruppen übergeben. Die Bundesstände begannen mit der Zerstörung.
Erst 1557 erhielt der Markgraf von Brandenburg-Ansbach die Festung zurück. Beim Wiederaufbau erhielt sie das heutige Renaissanceaussehen. Insgesamt zogen sich die Arbeiten bis 1607 hin.
Als 1603 die Ansbacher Linie der Hohenzollern ausstarb, erhielten die Söhne des Brandenburger Markgrafen die Regierung in Kulmbach und Ansbach.
Markgraf Christian hatte zwar die Residenz aber hielt sich während des Dreißigjährigen Krieges meistens auf der Plassenburg auf. Zweimal widerstand sie der Belagerung durch die Kaiserlichen.
Im 18. Jh. waren aber die Befestigungsanlagen veraltet. In der Plassenburg lagerte das Geheime Hausarchiv der Hohenzollern und die Ahnengalerie. 1806 wurde die preußische Festung letztmalig durch bayerische Truppen belagert. Auf Befehl Napoleons schliff man die Außenwerke der Festung.
