Loven åbnede også for, at der rundt om i landet efterhånden blev bygget fattighuse til dem, der ikke havde husly. I Viborg købte kommunen derfor i 1826 til fattigvæsnet et hus i Lille Sct. Hans Gade, hvor familier kunne få fri bolig, men man skulle ikke arbejde for at være der.
Fattiggården
Fattighuset i Gravene blev efterhånden for lille. I 1882 ville byrådet bygge et nyt fattighus og samtidig omlægge fattigvæsnet.
Kommunen ønskede et nyt hus, som lå uden for den egentlige by. Et rygte ville vide, at man overvejede at købe amtssygehuset. Resultatet af byrådets debat blev, at kommunen besluttede at købe en grund i Sct. Nicolai Gade på ca. 1½ tdr. land, hvor arkitekt Paludan skulle lave tegninger til den nye fattiggård.
I sommeren 1883 blev byggeriet vedtaget, og projekteringen forelå i sin endelige form den 7. juli 1883. Den nye fattiggård ville efter datidens standard blive flot. Gården blev bygget i to etager med en hovedfløj og to sidefløje og fik gasbelysning og et varmeapparat, der via luftrør skulle opvarme huset. Den nye fattiggård blev indviet den. 30. januar 1885.
Det gamle fattighus i Gravene
Byrådet besluttede i 1884 at ombygge det gamle fattighus ved Gammelvagt til boliger for familier, der ellers fik boligtilskud. Det skabte en del utilfredshed blandt byens borgere. Nogle mente, at huset skulle rives ned, så der blev ordenligt plads til hestemarkedet i Gravene. Andre mente, at “væggetøj” ville blive spredt ud over byen.
Fattiggården blev stående indtil 1905, hvor det blev revet ned for at give plads til hestemarkedet.