Na 1727 werd het kasteel niet meer door de Heer van Borculo bewoond. Het raakte in verval, dat op deze tekening uit 1743 al duidelijk te zien is.