Das erstemal wurde die Burg 1114 vom Edelfreien Herolt de Ufsaze beim Bamberger Stift St. Jakob genannt. Es wird angenommen, dass die Edelfreien von Aufseß mit Kaiser Heinrich II. nach Franken kamen. Aufseß bedeutet „Auf dem Felsen sitzend“. Als ältester Bestandteil gilt der Bergfried. Später kamen die Schlosskirche, das Hauptgebäude und die Wirtschaftsgebäude sowie die Ummauerung hinzu. Dreimal wurde die Burg beschädigt, im Hussitenkrieg, im Bauernkrieg und im Dreißigjährigen Krieg. 1677 erfolgte die Wiederherstellung des Schlosses und der Bau des Ostflügels.
Im Jahr 1676 kam es in der Familie durch die unterschiedlichen Konfessionen, protestantisch und katholisch, zwischen Karl Heinrich von Aufseß und Friedrich von Aufseß zu Streitigkeiten. Darauf errichtete Karl Heinrich 1690 die Burg Oberaufseß etwa einen Kilometer nördlich auf der rechten Talseite. Zeitweilig besaß die Familie 17 Burgen in Oberfranken.
