De voorloper van Torengaard is gebouwd in 1832. Het echtpaar Diepen-Hermans, de ouders van de latere bisschop van Den Bosch, woonden daar. Vader George Diepen was van 1989-1993 burgemeester van Roermond geweest en in 1891-1892 lid van de tweede kamer.
In 1930 werd het gebouw gesloopt en vervangen door het huidige Torengaard, gebouwd in opdracht van P. Tilman. Later woonde er de familie Jansen-Eras, van de kousenfabriek in Schijndel.
