Der Herzog Bolko I von Schweidnitz baute Ende vom 13. Jh. die Burg Fürstenstein. Er nannte sich auch Herr zu Fürstenberg. Zur unmittelbaren Herrschaft gehörten die Orte Salzbrunn, Polsnitz, Zirlau und Freiburg. Da als Erbe nur 1368 Anna von Schweidnitz, Gattin vom Kaiser Karl IV. Wenzel in Frage kam, erbte ihr Sohn Wenzel den Fürstenstein.
1392 kam das Herzogtum Schweidnitz-Jauer endgültig an die böhmische Krone. Verschiedene Adlige saßen auf dem Fürstenstein. 1429 eroberten die Hussiten die Burg. Mitte vom 15. Jh. erwarb es Georg Podiebrad, der es weiter verlehnte. Es folgte die Herrschaft vom König Matthias Corvinus über Niederschlesien. Nach mehreren Besitzerwechsel kam es 1509 an die schlesische Adelsfamilie Hohberg / Hochberg.
1605 war der Fürstenstein erblicher Besitz der von Hochberg. Diese wurden 1650 Freiherren, 1666 zu Grafen und 1683 zu Reichsgrafen erhoben. Die Hochberg stellten sich voll in den Dienst der Hohenzollern. Der Reichsgraf Hans Heinrich XI. erhielt vom Kaiser 1905 den Fürstentitel.
Im Ersten Weltkrieg war Fürstenstein zeitweise Sitz des kaiserlichen Hauptquartiers.
Die Hochbergs nutzten ab 1928 das Hauptschloss nicht mehr.