Rond 1917 kocht de familie Nuyts-Lavrys het domein Hof van Goor. De eigenaars sloopten Villa Maria en bouwden op dezelfde plaats een imposante stenen woning die in de volksmond het kasteeltje werd genoemd. De toegang werd tegelijkertijd voorzien van een hekwerk waarop de initialen van de familie prijkten, de letters N en L. In de jaren ’70 werd het kasteeltje gesloopt. Gelukkig bleef de eeuwenoude boerderij, het cijnshof,  die achter het kasteeltje stond nog een tijdje gespaard zodat de vereniging Testa alle tijd had om ze op te meten en te fotograferen. Van het kasteeltje uit de 20ste eeuw zijn weinig foto’s bewaard gebleven.