Viborg Byes og Omegns Sparekasse havde fra sin åbning den 28. oktober 1828 god søgning, og af sit overskud skænkede den sit første bidrag til anlægget “Hans Tausens Minde”, som blev oprettet i 1836. Hvert år frem til 1893 blev der fra sparekassen ydet bidrag til anlæggets vedligeholdelse frem. I 1839 bevilgedes 100 rigsdaler til “Kollekten for dem, der havde lidt ved Vandfloden i Januar Maaned samme Aar”.

Ved sparekassens 25-års jubilæum i 1853 skænkede den et efter datidens forhold meget stort beløb til hedens beplantning, som senere kom til at hedde “Undallslund”, idet den blev navngivet efter daværende fængselsinspektør, major og kammerherre L.C. von Undall, der var formand for sparekassens direktion og en af sparekassens medstiftere i 1828.

Sparekassen skiftede i sine første 25 år hyppigt bopæl. I 1846 finder vi den St. Sct. Hans Gade, og senere samme år flytter den til Sct. Mathias Gade.