텍스트 파일 내의 중복된 문장을 검사할 수 있는 방법이 있을까요?

수천페이지의 텍스트 내용을 일일히 수동으로 검역을 하려니 너무 힘들어서요.

어떤 좋은 꿀팁이나 노하우 방법 없을지 궁금합니다.