Im Jahre 704 schenkte der thüringische Herzog Hedan II. dem Bischof Willibrord die Orte Arnstadt und Mühlberg. Archäologische Funde belegen, dass die Gegend schon in der Jungsteinzeit besiedelt war. Anfänglich gehörte der Ort zur Abtei Echternach und später zum Kloster Hersfeld.
954 hielt König Otto I. in Arnstadt einen Reichstag ab. Der Sohn des Kaiser, Wilhelm, gründete als Erzbischof von Mainz die Liebfrauenkirche. Die Lage an der Via Regia beförderten die Entwicklung der Marktsiedlung.
Die Abtei Hersfeld hatte die Grundherrschaft, hielt das Münz- und Marktrecht und ernannte die Bürgermeister der Stadt. 1266 wurde Arnstadt das Stadtrecht durch den Abt verliehen.
1306 fiel der Besitz an die Grafen von Schwarzburg. Versuche von Erfurt, sich Mitte des 14 Jh. die Stadt zu erobern, scheiterten.
Die Wirtschaft war in dieser Zeit geprägt von Mühlen, von Gerberein, dem Tuchmacherhandwerk und den Handel mit Wein, Waid, Holz, Getreide und Wolle. Obwohl der Graf von Schwarzburg 1349 zum Gegenkönig der Luxemburger gewählt wurde, entsagte er dem Titel, strich aber dafür 20.000 Mark Silber ein.
1496 wurden die Herrschaften Arnstadt und Sondershausen zusammengelegt. 1531 begann die Reformation in der Stadt. 1553 – 1560 ließen die Schwarzburger den Bau der neuen Residenz Schloss Neideck ausführen.
Mehrere Stadtbrände, die Pest und der Dreißigjährige Krieg richteten großen Schaden an.
Ab dem Jahr 1709 nannten sich die Grafen Reichsfürsten, was zum Zerwürfnis mit den Herzögen von Sachsen-Weimar führte. 1867 begann in Arnstadt das Eisenbahnzeitalter. Dieses beförderte die Industrieentwicklung.
Nach dem Thronverzicht des Schwarzburger Fürsten im November 1918 gehörte Arnstadt zum Freistaat Schwarzburg-Sondershausen und ab 1920 zum Land Thüringen. 1912 wurde Arnstadt eine kreisfreie Stadt. Die Kreisverwaltung vom Landkreis kam in die Stadt.
Am 6. Februar 1945 erfolgte ein Luftangriff auf die Stadt und am 10. April 1945 besetzte die US-Army die Stadt. 1951 wurde Arnstadt in den gleichnamigen Landkreis aufgenommen und 1994 mit der Gebietsreform von Thüringen in der alten Größe als Ilm-Kreis wiedererrichtet.
Im Jahr 2004 feierte die Stadt ihre 1.300-jährige Ersterwähnung. Im Norden der Stadt, im Ortsteil Rudisleben, entstand das größte Gewerbegebiet in Thüringen.
