Die Gebiet um Colditz wurde 1046 als Burgwardbezirk erstmals urkundlich erwähnt. Der Name ist sorbischen Ursprungs. Im 12. Jh. entstanden die Kaufmannssiedlung und die St. Nikolaikirche. Schon 1265 wird Colditz als „civitas“ – Stadt bezeichnet. Die Herrschaft in der Region ging 1404 von den Colditz an das Haus Wettin über. Das Herrschaftsgebiet wurde zum Amt Colditz.
Im Jahre 1456 errichtete Kurfürst Friedrich II. seiner Gemahlin Magaretha die Münzstätte als Leibgedinge und gestattete ihr die sogenannten Margarethengroschen zu prägen. 1504 ereignete sich in der Stadt ein großer Stadtbrand, der auch das Schloss in Mitleidenschaft zog.
Ab den 1520er Jahren war das Schloss Jagdaufenthaltsort vom kursächsischen Hof und wurde ein Lieblingsschloss von Friedrich dem Weisen. Von 1602 bis 1622 war es Witwensitz der Kurfürstin Sophie von Brandenburg.
Im 16. Jh. blühte das Tuchmacher- und Leineweberhandwerk auf. Ab dem frühen 18. Jh. begann die Verwendung Colditzer Tone auf kurfürstliche Anweisung in der 1710 gegründeten Meißner-Porzellan-Manufaktur.
1804 begann die Produktion in der Colditzer Steingutfabrik Thomsberger & Hermann. Im Schloss entstand 1829 eine Landesheilanstalt und 1868 die Landwirtschaftskolonie der Anstalt im Ortsteil Zschadraß.
Von März 1933 bis August 1934 bestand im Schloss das KZ Colditz, in dem über 2000 Gegner der Nationalsozialisten gefangen gehalten und schwer misshandelt wurden. Das Schloss diente dann von 1940 bis 1945 als Kriegsgefangenenlager für alliierte Offiziere. Im April 1941 gelang es dem französischen Offizier, Widerstandskämpfer und späteren General Alain Le Ray, als erster aus dem ausbruchssicheren Gefangenenlager zu fliehen.
1958 begann die Herstellung des bekannten Mitropa-Porzellans im VEB Colditzer Porzellanwerk. Die Steingut-, Porzellan- und Schamotteindustrie überstanden den wirtschaftlichen Umbruch nach 1990 nicht.