Gaden har været en del af det senmiddelalderlige gadenet. Søndre Sogns Kirke er opført i midten af det 13. århundrede og hørte til Sortebrødrenes kloster, der husede dominikanermunkene. Arkæologiske undersøgelser tyder på, at der også lå en anden kirke, muligvis Sankt Stefans kirke, der er omtalt en enkelt gang i 1378. Der fandtes grave på alle sider af fundamentet.

Af en liste over skader efter en brand i 1615 fremgår det, at adelsfamilien Gyldenstjerne ejede en stor ejendom på hjørnet af Store Sct. Mikkels Gade og Sct. Mathias Gade. På hjørnet af Store og Lille Sct. Mikkels Gade lå Søren Christensen Høgs store farvergård.

I 1721 åbnede en skole i et lille hus i Store Sct. Mikkels Gade for 12 fattige børn. Den blev kaldt Friskolen eller Fattigskolen, i nabohuset kom Borgerskolen, hvor der skulle betales skolepenge. Skolerne var adskilt af det lille Sct. Mikkels Stræde, der blev nedlagt i 1872, og skolerne blev lagt sammen.

Købmand P. Guldberg ejede karréen ved Store Sct. Mikkels Gade, Sct. Mathias Gade og Kompagnistræde. Her havde han butik, kontor, bolig, farveri og fra 1846 klædefabrik.

I 1868 byggede Odin Bryggeriet en ny hovedbygning i Store Sct. Mikkels Gade, efter at det gamle bryggeri fra 1832 var brændt. Bryggeriet lukkede i 1987 og grunden blev solgt til bebyggelse (Odingården).

Ejendommen på nr. 2, som er opført i år 1900 af bagermester Hogrebe, blev fra 1903 til 1919 anvendt som “Alderdoms Asyl”, i dag ligger her en restaurant i stueetagen. På hjørnet af Store Sct. Mikkels Gade og Sct. Mathias Gade lå den fornemme middelalderbygning, kaldet “Budolfi Kloster”, hvor Handelsbanken havde ekspeditionslokale fra 1908 til 1925.

I nr. 21 havde KFUM til huse indtil 1913, hvorefter huset blev brugt til Kristeligt Soldaterhjem. I 1918 åbnede Biblioteksforeningen for Viborg Amt, oprettet i 1916, et folkebibliotek i en lejlighed på tredje sal i ejendommen på nr. 22, hvor det havde til huse indtil 1928.

På husmuren på nr. 10 er opsat en mindetavle for forfatteren Nis Petersen (1897-1943), som boede her fra 1926 til 1929, hvor han begyndte at skrive romanen “Sandalmagerens Gade”. Hans søster var gift med ejendommens ejer, skomager Ernst Pilgaard, som i 1917 havde startet en træsko- og tøffelfabrik.