Museet har til huse i Kurhuset, et bygningskompleks som er tegnet af den kendte guldalderarkitekt Gottlieb Bindesbøll (1800 - 1856), der også er arkitekten bag Landbohøjskolen og Thorvaldsens Museum.