시골집 별채의 옛날화장실 철거는 조심해야하나요?

시골집을 철거하려고 하는데 어르신들이 화장실 철거는 조심 해야한다고 하더라구요. 집이오래된 집이라 화장실이 별채로 있어요. 미신때문인가요?