Ifølge “Viborg Købstads Historie” kaldtes gaden uden for Sct. Hans Port allerede i det 17. århundrede Skottenborg, og Sct. Hans Port blev også kaldt Skottenborg Port. Området fra Sct. Hans Port og ud mod Skottenborg blev før i tiden benyttet til heste- og kreaturmarked. Bebyggelsen i Skottenborg i det 18. århundrede bestod af nogle gårde, småhuse og boder.
I 1826 fik Viborg et fattighus på initiativ af barber Chr. Dragheim, som anbefalede fattigkommissionen at købe en gård i Skottenborg, som var sat på auktion, for at have et sted at samle de fattige og hjemløse. Fattighuset i Skottenborg formåede kun at dække byens behov i en kort årrække. I 1843 vurderede fattigkommissionen, at en udvidelse var nødvendig. På et forslag fra købmændene Buchwald og Boye besluttede bystyret at lade fattiglemmer arbejde på den nye kradsuldsfabrik med at sprætte klude op, da det kunne reducere den udbetalte fattighjælp, og på den måde opstod Arbejdsanstalten i 1845.
Bykortet fra 1900 over Viborg viser vækst mod vest og syd. I Skottenborg, helt ude ved Overdammen, havde amtet i 1882 opført Viborg Amts Arbejdsanstalt, mens vandtårnet umiddelbart syd herfor vidnede om, at byen lige havde fået et offentligt vandværk. Det gule vandtårn på hjørnet ved Fælledvej er opført i 1927. Tidligere lå en dam, “Overdammen”, hvor Skottenborgs avlsbrugere kunne vande deres kreaturer, når de var på vej hjem fra markederne. Den blev fyldt op i 1929-30, og i stedet blev anlagt en legeplads.
På hjørnet af Boyes Gade og Skottenborg opførte Dansk Arbejderforening i 1885 et alderdomshjem for arbejdere. Lige efter denne bygning lå købmand Johannes Stensgaards kulplads og lagerbygninger og en gammel møllesokkel fra en vindmølle. Det hele blev revet ned i 1984 for at give plads til opførelsen af nye andelsboliger. Det gamle vandtårn blev sprængt væk i 1973 for at give plads til SiD’s kontorudvidelse.
“Villa Takken” blev opført i 1901 af ornitologen H. Chr. Mortensen, som boede her indtil sin død i 1921. I 1938 startede byggeriet af Solgården, og i 1942 stod de sidste af de 97 aldersrenteboliger færdige. De blev renoveret og moderniseret i 1990-1992. Husene, i tre etager og med kviste, overfor Solgården er opført i 1911-13. Amtets arbejdsanstalt i Skottenborg blev i 1943-1947 først brugt til indkvartering af tyske soldater og senere til fængsel for værnemagere. Efter 1947 blev den renoveret, men i 1950’erne var der kun omkring en snes beboere, overvejende ældre uden arbejde og bolig, og som følge af socialreformen fra 1960 blev arbejdsanstalten nedlagt i 1970 og kom i stedet til at indgå i den nye amtsgård, der blev opført fra 1973-1988.
