Ligesom andre større danske byer fik Viborg et rådhus i senmiddelalderen. Huset nævnes første gang i 1467, men den præcise beliggenhed kendes først fra 1584, hvor der henvises til nuværende Gammeltorv, der i daglig tale også kendes som Domkirkepladsen. 

Rådhuset brændte under den store bybrand i 1726, og genopførelsen blev påbegyndt i 1727 efter bygmester Claus Stallknechts tegninger, og i 1728 blev der holdt rejsegilde. Det gamle rådhus havde mange funktioner. I stueetagen var den store borgersal, der blev anvendt til forskellige offentlige arrangementer, og den blev også udlejet til baller og fester. Andre værelser blev anvendt til byens magistrat, retslokaler, herredsting og meget mere. Landstinget (landsretten) holdt til her i årene 1739-43.

To pengeinstitutter lånte lokaler i rådhuset ved deres start, Viborg Byes og Omegns Sparekasse i 1828 og Kreditforeningen i 1851. I kælderen var indrettet arrester, og under Treårskrigen 1848-50 blev rådhuset brugt som militært lazaret.

Som tiden gik blev pladsforholdene for trange, og det blev besluttet at bygge et nyt rådhus og arrest på den modsatte side af Domkirken. Det blev taget i brug i 1874, og det gamle rådhus blev rømmet og lejet ud til militæret. I 1880 blev der i kælderetagen indrettet politistation, som havde til huse her indtil 1912. I 1890 overtog Stiftsmuseet stueetagen og havde sine samlinger her indtil 1980, hvor det flyttede til Hedeselskabets tidligere hovedbygning på Hjultorvet. På 255-årsdagen for byens brand i 1726 åbnede Skovgaard Museet for sine samlinger i det gamle rådhus.