인공지능, 특히 언어 모델의 말이나 분석을 곧이곧대로 믿으면 안 되나요?

Question

인공지능, 특히 언어 모델의 말이나 분석을 곧이곧대로 믿으면 안 되나요?

'할루시네이션' 같은 게 있어서 말을 그럴듯하게 꾸며내거나 지어내는 듯한 현상이 있어서라고 하는데(세종대왕에 대한 역사적 사실이 틀린 사례)

어떤가요?

저는 무료 버전을 쓰고 있습니다.

Answer 1

LLM 은 말 그대로 많은 텍스트를 가지고 학습했고 그걸 바탕으로 사용자의 프롬프트에 따라 답변하기 때문에 사용자의 말투 질문에 대해 동기화(?)되는 현상이 생겨요. 그래서 답변도 내가 반말을 하면 반말 존댓말을 하면 존댓말로 하는거지요. 그러는 과정에서 사용자의 질문이 참이라고 가정하고 답변하는 경향이 생겨서 그런 왜곡이 생길 수 있어요. 도움되셨길 바랍니다. 

Answer 2

인공지능의 말을 곧이 곧대로 믿는건 좋은 건 아닙니다.

왜냐하면 현재의 인공지능이 아무리 똑똑해졌다고 하더라도

자기가 학습되지 않은 정보들은 다른 정보들을 짜집기 하여서 그 말이 마치 진짜인것 마냥

지어내서 정보를 전달하기도 하고 이건 무료 버전이나 유료 버전이나 크게 다르지 않은 부분이라

항상 AI를 사용하고 나서 얻은 정보들은 교차검증이 필요합니다.