Gråbrødre- eller franciskanerklostret blev stiftet i 1235. Omkring 1300 fik klostret af grevinde Mariana af Eberstein og hendes to sønner, Albert og Ludvig Albrechtsen en stor donation, som medførte stor byggeaktivitet.
Klosterbygningerne lå på kirkens nordside og udgjorde på reformationstiden et stort kompleks, der omfattede to lukkede gårde samt udløberfløje mod nord og øst. Det var her reformatoren Hans Tausen prædikede de nye tanker og i 1529 blev sognepræst. Kirken forfaldt i årenes løb, og den blev ikke brugt til gudstjenester efter 1813, hvor tårnet var fjernet.
Derefter lå den som ruin, indtil den blev nedrevet i 1830. Sognet, der kaldtes Nørre sogn, fik navneforandring til Domsognet med domkirken som sognekirke. I 1527 fik byens styre kongens tilladelse til at oprette et hospital i Sct. Hans Kloster. I 1541 blev det overflyttet til Gråbrødre Kloster, som blev kaldt Viborg Hospital, indtil det i 1950 fik det gamle navn igen.
I dag rummer bygningen 7 lejligheder for ældre. Nogle af klosterbygningerne er først bygget efter reformationen for at være en passende bolig for Christian den 3., når han opholdt sig i Viborg. Under en restaurering i 1970-erne dukkede dele af kongens gemakker op, og de er nu indrettet til en lille mødesal kaldet “Kongens kammer”. Under dette rum findes Viborgs mindste kirke, Klosterkirken, der i 1947 blev indrettet i et rum, hvor der tidligere havde været lagerrum og kælder.
