Sparekassen havde fra sin åbning den 28. oktober 1828 god søgning, og af sit overskud skænkede den sit første bidrag til anlægget “Hans Tausens Minde”, som blev oprettet i 1836. Hvert år frem til 1893 blev der fra sparekassen ydet bidrag til anlæggets vedligeholdelse frem til 1893. I 1839 bevilgedes 100 rigsdaler til “Kollekten for dem, der havde lidt ved Vandfloden i Januar Maaned samme Aar”.

Ved Sparekassens 25-års jubilæum i 1853 skænkede den et efter datidens forhold meget stort beløb til hedens beplantning, som senere kom til at hedde “Undallslund”, idet den blev navngivet efter daværende fængselsinspektør, major og kammerherre L.C. von Undall, der var formand for sparekassens direktion og en af sparekassens medstiftere i 1828.