Museet på Adelgade er smukt beliggende i byens ældste del tæt ved Skanderborg Slotsbanke og med stor, parklignende have ned til Lille Sø.
Museet og dets nære omgivelser giver den besøgende et levende indblik i byens, slottets og egnens helt særlige historie. Der lægges vægt på, at hele familien får såvel viden som oplevelse ved et museumsbesøg her. Fri adgang til museumshaven, hvor der i sommerperioden er opstillet borde og bænke. I forhallen er indrettet museumsbutik og en lille selvbetjent café. Museet har til huse i byens tidligere byfogedgård, senere dommergård, hvis ældste dele er fra 1700-tallets midte. Den nuværende fremtoning, røde teglsten med pudsede bånd, går tilbage til 1888.
Ejendommen, der ejes af Skanderborg Kommune, blev stillet til rådighed for Skanderborg Museum i 1980. I foråret 2001 blev føjet en ny indgangsbygning, lille p-plads og handicaprampe til museet. Indgangsbygningen er tegnet af arkitektfirmaet Jette og Jørgen Frost Larsen m.a.a., ApS, Skanderborg.
