1084 vergab Heinrich IV. die Burg seinem Gefolgsmann Wiprecht von Groitzsch. Die romanische Burgkapelle stammt aus dieser Zeit. Durch Heirat von Wiprechts Enkelin Mathilde mit Rapoto von Abenberg kam sie an den fränkischen Grafen und von diesem 1148 an Friedrich III. von Schwaben, den späteren Kaiser Friedrich I. Barbarossa. Als Reichsgut wurde sie das Zentrum des Pleißenlandes.
Im Jahre 1188 urkundete der Kaiser selbst in Leisnig. Der Bergfried in der Vorburg wurde in der ersten Hälfte des 13. Jh. errichtet, das jetzige Tor stammt aus dem späten 12./ 13. Jh. und die Kapelle erhielt zwischen 1400 und 1420 m den gotischen Chor.
Die Burggrafen von Leisnig waren die mächtigsten Herren im Muldenland. Im Jahr 1365 eroberten die Meißner Markgrafen die Burg und zwangen die Burggrafen zum Verkauf.
Unter Markgraf Wilhelm I. erfolgte ein Umbau für repräsentative Zwecke, als Residenz wurde Mildenstein nie genutzt
1706/07 wählte Stanislaus I. Leszczyński die Burg Mildenstein als Aufenthaltsort, während seine schwedischen Verbündeten das Kurfürstentum besetzt hielten. Im 18. und 19. Jh. war die Burg Amtsgericht, Gefängnis und Beamtenwohnhaus.
1890 begann die museale Nutzung der Burg. Im Museum steht der Döbelner Riesenstiefel.
Von 1964 bis 1990 wurde auf dem Burggelände auf 5 Hektar ein Heimattiergarten betrieben.
Der 32 Meter hohe Bergfried im Innenhof dient als Aussichtsturm über das Muldental.
Die Burg Mildenstein ist Eigentum des Freistaates Sachsen und wird verwaltet vom Staatsbetrieb . Staatliche Schlösser, Burgen und Gärten Sachsen gGmbH.
