Gleichzeitig hatte es die Aufgaben, die Via Claudia und deren Raststation in der Siedlung unter dem Schlossberg zu schützen. Das römische Kastell bestand etwa bis 500 n. Chr..
Nachdem die Augsburger Bischöfe das Kloster St. Mang im 8. Jh. gründeten, dienten die Ruinen vom Kastell zu dessen Aufbau. Der Berg wurde dem Kloster um 1183 geschenkt.
Der letzte Staufer Konradin verpfändete die Vogteirechte dem bayerischen Herzog seinem Onkel.
1292 kam es zu einem Vergleich, bei dem der Herzog auf die Burg und auf den weiteren Burgenbau in der Region verzichtete. 1322 erwarb das Hochstift Augsburg den Burgberg und machte ihn zum Sitz vom Pflegamt Füssen. Die Burg wurde in die Stadtbefestigung integriert.
Ab 1486 erfolgte ein umfangreicher Um- und Ausbau des Schlosses, so wie es heute erscheint. Später um 1680 erfolgten Umbauten der Innenausstattung.
Die österreichische Armee nutzte 1798/1799 das Schloss als Lazarett. Die Franzosen übernahmen die Anlage.
Das bayerische Königshaus wollte es als Sommersitz für den Kronprinzen Maximilian nutzen, aber dieser zog das Schloss Hohenschwangau vor. Das Amtsgericht Füssen zog ein.
Seit 1931 ist im Nordflügel die Filialgalerie der bayerischen Staatsgemäldesammlungen im Schloss.
Das Burgschloss wurde in den Jahren 1957/58 und 1966/67 renoviert.
Später wurden noch die Illusionsmalereien aufgefrischt und einige Innenräume und die Kapelle saniert.
