할루시네이션을 최소화하고 싶어여!!!!

Question

저는 ai를 사용함에 있어 정확성이 생명이라고 생각하는게 최근 할루시네이션에 몇번 당해서 혼난적이 있어요. 어떤 프롬프트가 좋을까요??

Answer 1

안녕하세요. 김재훈 전문가입니다.

할루시네이션을 방지하기 위해서는 모델에게 모르는 것은 모른다 말할 것과 답변의 근거를 본문이나 외부 자료에서 먼저 추출한 뒤 서술할 것 을 명확히 지시하는 것이 가장 효과적입니다 구체적으로는 답변 전단계별로 생각하고 확인된 사실에만 기반해 작성하라 는 제약 조건을 추가하여 논리적 비약을 막는 것이 중요합니다 마지막으로 출처 표기를 요구하거나 답변의 확실성을 수치로 표현하게 하면 모델이 스스로 검토 과정을 거치게 되어 정확도를 비약적으로 높일 수 있을겁니다

Answer 2

안녕하세요. 이승호 전문가입니다.

인공지능의 할루시네이션은 모델이 다음 단어를 예측하는 확률 과정에서 발생하므로 이를 억제하기 위해서는 답변의 범위를 물리적으로 제한하는 프롬프트 구성이 가장 효과적입니다.

가장 먼저 적용해볼 수 있는 방법은 페르소나 부여와 데이터 소스 한정입니다. 단순히 질문을 던지기보다 당신은 근거가 확인된 사실만을 전달하는 검토 전문가입니다라는 역할을 부여하고 모르는 내용이거나 불확실한 정보라면 반드시 모른다고 답하세요라는 부정적 제약 조건을 명시하는 것이 좋습니다. 인공지능은 기본적으로 질문에 답을 하려는 성질이 강하기 때문에 모른다는 선택지를 공식적으로 허용해 주는 것만으로도 거짓 정보의 생성을 상당 부분 줄일 수 있습니다.

또한 단계별 사고 유도 방식인 생각의 사슬 기법을 활용해 보시기 바랍니다. 답변을 바로 내놓게 하지 말고 결론을 내리기 전에 먼저 관련된 사실 관계를 나열하고 논리적인 추론 과정을 거쳐서 최종 답안을 작성하라고 지시하는 방식입니다. 이렇게 하면 모델이 스스로 정보를 검증할 시간을 갖게 되어 정합성이 높아집니다.

마지막으로 가급적이면 외부 정보를 참조할 수 있는 구조를 만드는 것이 유리합니다. 질문과 관련된 참고 자료나 텍스트를 직접 제공한 뒤 이 문서 내의 정보만을 바탕으로 답변해달라고 요청하는 방식이 현재로서 가장 정확도가 높습니다. 만약 외부 자료 제공이 어렵다면 답변의 형식을 구조화하여 각 문장마다 출처나 근거를 제시하라고 요구하는 것도 거짓 답변을 방해하는 좋은 장치가 됩니다.