땅에 건물을 다른사람이 지었을때

시골에 땅하나가 있습니다. 그런데 형제중 한명이 자기 처가어르신 귀농하길원하는데 그땅에다가 집을 짓고 살게 해드리고 싶다고 집짓는걸 허락해달라고 합니다. 만약에 집을 짓게 해주고나서 나중에 저희가 그땅에 집짓고 살려고하면 땅지분행사가 가능한가요? 내보낸다는말이 좀 이상하긴하지만..살고계신분이 못나간다고하면 저희가 들어가서 살수는없는겁니까??