1800-tallets romantiske ideer har også sat sine spor på De fem Halder, hvor nøgleordet ikke længere var ’magt’, men derimod ’frihed’.
I stærk kontrast til den symmetriske barokhave med snorlige stier, så man i 1800-tallet en romantisk have med snoede stier og en beplantning af bøgetræer. Den romantiske have blev anlagt i begyndelsen af 1800-tallet øst for barokhavnen.
Oppe i det nordøstlige hjørne af den romantiske have står en ny rund granitbænk – en fortællebænk. Udvendig på granitbænken har forfatteren Thøger Jensen skrevet en 14 m. lang tekst, som ikke har nogen begyndelse eller slutning.