Rektors Lysthus ligger i Latinerhaven på hjørnet af Sct. Mathiasgade og Sct. Mogensgade. Indtil 1760 lå arealet hen som en brandtomt, men så gjorde Latinskolen den til sin have, og i 1780 blev Lysthuset bygget. I 1928 blev haven overtaget af kommunen.