Das Schloss wurde in der Zeit von 1704 bis 1816 erbaut und ausgebaut. Bauherren waren die Herzöge Eberhard Ludwig, Karl Eugen und Friedrich II. von Württemberg. Durch die lange Bauzeit vereint es die Baustile vom Barock über Rokoko bis zum Klassizismus und entwickelte sich von einem kleinen Jagdschloss zu einer monumentalen Vierflügelanlage.
Die Bauteile sind im:
- Norden - der Alte Hauptbau, der Ordensbau und der Riesenbau
- Osten - der Kavalierbau, die Schlosskapelle und der Theaterbau
- Süden - der Neuen Hauptbau, die Ahnengalerie und die Bildergalerie
- Westen - der Kavalierbau, die Ordenskapelle und der Festinbau
Vor dem Schloss ist eine Gartenanlage. Sie ist heute unter der Bezeichnung „Blühendes Barock“ ein beliebter Besuchermagnet. Eine weitere Sehenswürdigkeit im Schlosskomplex ist die Barockgalerie.
Ursprünglich war an der Stelle der Schlossanlage der Wirtschaftshof vom Kloster Bebenhausen. Nach dessen Auflösung ging der Erlachhof in den Besitz der Herzöge über. Diese nutzten den Hof als Jagdgut. Unter Herzog Ludwig entstand ein erster Tiergarten, in dem vor allem Damhirsche gejagt wurden. 1634 plünderten kaiserlich Truppen den Jagdhof und brannten ihn nieder. Der Wiederaufbau hielt nicht lange, 1693 brannten die Franzosen den Erlachhof nieder.
Herzog Eberhard Ludwig plante bald den Ausbau zu einem kleinen Jagdschloss. Er ließ Steine von der beschädigten Festung Hohenasberg anliefern. Der Prinzenbau am Schillerplatz in Stuttgart war ihm zu klein, ihm schwebte ein Bau nach dem Muster Versailles vor.
So war 1704 die Grundsteinlegung für das neue Residenzschloss und gab gab dem Schloss 1705 den Namen Ludwigsburg. 1706 legte der Baumeister einen erweiterten Entwurf einer dreiflügeligen Anlage vor. 1709 zog der Herzog nach Ludwigsburg.
