Die Anlage soll gegen Ende vom 13. Jh. bis Anfang 14. Jh. errichtet worden sein. Um die gleiche Zeit siedelten unterhalb der Burg oberfränkische Zinnseifner. Aus einem Lehnsbrief von 1341 war der Ritter Konrad Plick der erste belegte Burgbesitzer. Nach mehreren Besitzerwechseln ging die Burg 1446 an die Grafen Schlick über.
Im Jahre 1602 veräußerte Graf Stephan Schlick Neudek an Friedrich Colonna Freiherr von Fels. Zu Beginn des Dreißigjährigen Krieges war die Burg auf dem Felsen wohl noch vorhanden und bewohnt. Nachdem das protestantische Geschlecht Colonna von Fels gezwungen war, aus Neudek zu emigrieren, bekam der Graf von Chudenitz die kleine Stadt. Unter dem Sohn des Grafen wurde das alte Schloss abgerissen.
