1890 konnte erstmals eine größere Sammlung in den Erdgeschoßräumen des Pirnaer Rathauses gezeigt werden. Später kam die Sammlung in die ehemalige Realschule am Klosterhof. Das Kapitelsaalgebäude des ehemaligen Dominikanerklosters wurde als Museumsstandort 1923 eingeweiht. 1980 musste das Gebäude für Besucher geschlossen werden.
Die Reparatur und Rekonstruktion erfolgten von 1987 bis 1993. Das Sommerrefektorium wurde als neues modernes Eingangsgebäude gestaltet. Im Kapitelsaal kann man die Architektur bewundern und dazu Sandsteinarbeiten aus dem heimischen Rohstoff betrachten. Dieser Saal wird auch zu kleineren Konzerten genutzt.
Ein Teil der ständigen Ausstellung widmet sich den ur- und frühgeschichtlichen Funden. Sehr umfangreich sind die Sammlungen zur Kultur- und Volksgeschichte, welche durch Waffensammlung, Numismatik und Fotografie ergänzt werden.