Die Burg gehörte um 1400 zu den Besitzungen der Berken von der Duba, dem böhmischen Hochadelsgeschlecht in Nordböhmen. Erstmals erwähnt wird sie 1436, als die von Duba auf dem Wildenstein sie an Sigmund von Wartenberg aus Tetschen verpfändeten. Unterhalb des Arnsteins verlief die alte Hohe Straße von Postelwitz an der Elbe in das Böhmische Niederland und nach der Oberlausitz. Die Wartenberger und ihre Vasallen unternahm vom Arnstein aus Raubzüge auf die Händler und die Bauern im Umland. Das veranlasste den Sächsischen Markgrafen mit dem Landvogt der Oberlausitz, den Wildensteiner von Duba und dem Lausitzer Sechsstädtebund die Burg zu belagern. Nach dem Friedensschluss 1438 ging der Besitz von den Wildensteiner an den Markgrafen Friedrich über. Später war er in den zahlreichen Fehden wieder wohl in den Besitz der von Duba gelangt. Endgültig wurden mit dem Vertrag von 1451 die Berka von der Duba aus der Sächsischen Schweiz verdrängt. Die Burg ist in dieser Zeit abgerissen worden.
Im Vertrag von Eger 1459 zwischen Böhmen und Sachsen sind die Burgen mit ihre Herrschaften schon nicht mehr genannt.