방대한 분량의 문서와 인공지능의 환각 질문

Question

대략 25만자 분량의 문서를 챗지피티 5.6에게 보냈고,
환각을 겪을 수 있으니 반드시 원문과 대조해서 모순이나 내용상 충돌 지점을 찾으라고 지시했습니다.

그리고 그 결과를 바탕으로 문서를 수정했고요.

이러면 수정한 문서를 보냈을 때 모순, 충돌이 없다고 해야 맞는 것 아닌가요?

챗지피티 sol 울트라 모드이고, 지금까지 5번 정도 반복했는데

고쳐도 고쳐도 계속 오류가 있다는 말을 반복합니다.

원래 방대한 문서는 이렇게 고치는 게 맞는지 아니면 인공지능의 환각 때문인지가 궁금합니다.

Answer 1

안녕하세요. 김재훈 전문가입니다.

25만 자 처럼 매우 방대한 문서는 한 번에 모든 내용을 완벽하게 일관성 검증하기 어려워 실제 오류를 찾아낼 수도 있지만 일부는 인공지능의 환각이나 문맥 추적 한계 때문에 존재하지 않는 모순을 지적하는 경우도 있습니다 같은 문서를 5번 이상 수정했는데도 계속 새로운 오류가 나온다면 실제 문제와 AI 의 과잉 추론이 섞여 있을 가능성이 높으며 특히서로 멀리 떨어진 내용을 연결해 잘못 충돌로 판단하는 사례도 발생합니다 그래서 AI 의 지적을 무조건 믿기보다는 반드시 원문 인용과 근거를 함께 요구하고 근거를 제시하지 못하는 지적은 환각 가능성을 의심하는 것이 좋습니다 가장 신뢰도가 높은 높은 방법 문서를 장별로 나누어 검토한 뒤 마지막에 전체 일관성 검사를 수행하는 방식입니다