Hærvejen fra syd nåede Viborg ved Lille Sct. Mikkels Gade og fortsatte mod nord ad Riddergade og Sct. Ibs Gade og meget taler for, at Viborgs første bykvarter voksede op omkring dette vejkryds. Gaden er opkaldt efter Sct. Michael. Sct Mikkels kirke lå uden for Sct. Mikkels Port og befæstningslinien fra 1152. I løbet af 1000-tallet slog flere og flere mennesker sig ned i byen, og arealerne ned mod søen blev med årene udstykket og bebygget med huse og håndværksboder.

På hjørnet af Store og Lille Sct. Mikkels Gade havde Søren Christensen Høg i 1600-tallet en stor farvergård. På den tid havde farverne eneret på at udøve erhvervet i byen og dens opland. På borgmester A. C. Dyssels forslag startede i 1740 byggeriet af Viborg Tugt- og Manufakturhus, “Viborghus”, på en grund ned mod Søndersø. I 1875 blev det omdannet til sindssygeanstalt. Efter en pause som garnisonsby måtte Viborg fra 1774 igen sørge for indkvartering af soldater og til pleje af syge soldater opførte byen et sygehus, “Krankehuset”, i Lille Sct. Mikkels Gade.

I midten af 1800-tallet hørte gaden sammen med Pederstræderne til byens skomagerkvarterer. Viborg banegård lå ved søen fra 1863 til 1896, og på hjørnet af Lille Sct. Mikkels Gade og Sct. Jørgens Vej lå Jernbanehotellet, hvor der senere blev indrettet købmandsforretning. I Lille Sct. Mikkels Gade nr. 12 overtog Julius Brems i 1879 faderens smedeværksted og begyndte at fremstille cykler, men han blev især berømt for i 1900 at lancere Danmarks første automobil. Det blev til ialt otte biler, inden økonomien tvang ham til at opgive bilfabrikationen.
Fra 1898 til 1920 havde Arbejdernes Fællesbageri til huse i nr. 22. Omkring 1940 var gaden en af byens tættest befolkede, hvor fattige børnefamilier klumpede sig sammen i dårlige boliger, indtil kommunen i 1950’erne iværksatte en gennemgribende sanering, hvor også gadens linieføring blev ændret. Gadens særkende blev det store hospitalskompleks på østsiden mod søen og overfor, på vestsiden, ejendommen med lægeboliger.