Das Waldhufendorf entstand wahrscheinlich in der Mitte des 13. Jh. Eine erste schriftliche Überlieferung gibt es von 1355 und bereits 1384 besaß das Walterivilla genannte Dorf eine Kirche. Zu Beginn des 15. Jh. lassen sich eine Mühle und ein Meierhof nachweisen.
1419 erwarb die Stadt Zittau das Dorf für eine Kaufsumme von 210 Mark. Seit dem 16. Jh. wurde am Sonneberg Sandstein gebrochen, der als Baustoff und für Mühlsteine verwendet wurde. Im Dorf entstanden Steinmetzbetriebe.
1538 begannen bei Waltersdorf Bergbauversuche zur Silberförderung. Der Schwerpunkt lage im böhmischen St. Georgenthal am Tannenberg und am Tollenstein. Schon 1559 kam der Silberbergbau wegen Erfolglosigkeit wieder zum Erliegen.
1648 wurde die Kirche erneuert und 1657 erweitert. 1713 erfolgte ein Neubau in barockem Stil, der Kirchturm blieb jedoch erhalten. Ein Jahr danach entstand die Kirchschule. Durch den Zittauer Orgelbauer Tamitius wurde die alte Orgel ersetzt und 1769 geweiht. 1801 und 1802 erneuerte der Glockengießer Johann Friedrich Zeißig aus Saalendorf zwei der drei Kirchenglocken, die mittlere Glocke stammt von 1661.
1665 hielt auch die Leinenweberei Einzug im Ort. Der Saalendorfer Faktor Carl Gottlieb Kämmel errichtete 1827 in seinem Haus eine Jacquardweberei mit mehreren Stühlen.
Die alte Kirchschule wurde 1898 durch den Neubau ersetzt, 1900 entstand ein Postamt und 1928 baute man das neue Gemeindeamt. 1890 begann in Waltersdorf die Gasversorgung, 1905 entstand eine Wasserleitung und 1910 kam auch die Elektrizität ins Dorf. Im Jahre 1913 erfolgte die Schließung des letzte Sandsteinbruchs am Sonneberg.
Nach der Wende erlosch im Dorf die traditionelle Weberei und 1990 schloss der letzte Webereibetrieb.
