Endnu hundrede år efter den store brand i 1726 lå der mange ubebyggede brandtomter, og selv i dag har vi en enkelt tilbage, nemlig Latinerhaven på hjørnet af Sct. Mathias Gade og Sct. Mogens Gade. I 1700-tallet tilhørte haven Latinskolen. Lysthuset i haven, “Rektors Lysthus”, er fra Latinskolens periode, opført i 1780 og er i dag fredet. I 1928 blev haven overtaget af kommunen, efter at Latinskolen forlod området. Den er anlagt af stadsgartner Rasmus Brostrøm. Haven er opdelt i forskellige afdelinger med blomster, stauder og rhododendronbuske og et nyere afsnit med snapseurter.
Løvebrønden er tegnet af arkitekt Frederik Jensen og skænket af Sparekassen. I haven kan man se St. St. Blichers buste samt en mindetavle for Viborg-ornitologen H. Chr. C. Mortensen, kendt som “Fuglemortensen”. Forfatteren Johannes V. Jensen, tidligere elev på Latinskolen, har skrevet teksten for den berømte lærer, der er kendt videnom for at have sat ringmærkningen i system.