Johannitterklostret nævnes første gang i 1285, hvor greven af Eberstein skænkede gods til klostret. Tidligere havde johannitterne fået overdraget Sct. Hans og Sct. Ib kirker. Klostret lå i byens nordligste del på østsiden af Sct. Ibs Gade, hvor nu Pilehaven ligger. Nord for klosteret, der tog sig af syge og fattige, lå et hospital kaldet Sct. Hans Hospital. På reformationstiden ejede klostret jord på begge sider af gaden. Udgravninger af det centrale anlæg tyder på, at klostret har dannet en regelmæssig firkant med kirken som nordfløj.

Ifølge Resens Atlas Danicus var kirken, der havde et tårn i vest og to kapeller på nordsiden, bygget med stor pragt, og et bevaret teglstenskapitæl vidner også om forfinet arkitektur. Syd for klosteranlægget er der fundet rester af et par bindingsværkshuse, som muligvis har dannet en ekstra gård ud for østfløjen. Ved reformationen blev klostergodset inddraget under kronen og gjort til et len, der i 1606 overførtes til Asmild kloster.