감나무가 옆집까지 넘어가서 자라는데 옆집에서 그 감을 따서 먹고있습니다.

안녕하세요. 시골 친척집 마당에 감나무가 자라고 있는데 가지들이 옆집 담벼락을 넘어서 자라고 있습니다. 그 옆집에서는 넘어온 가지에서 감이 자라면 그 감을 따서 먹고있는데 저희 친척이 그러지 말라고 얘기해도 되는 부분인가요?