AI가 가끔 거짓말을 한다는데 그게 맞는 표현일까요?

Question

요즘은 무엇이든 챗 GTP나 제미나이한테 물어본다 하는데, 저도 자주 묻곤 합니다. 그런데 가끔 보면 얼토당토않는 대답을 할 때가 있어요. 그런 건 데이터가 잘못된 건지, 아니면 AI가 귀찮아서 아무 대답이나 하는 건지 궁금할 때가 있습니다

Answer 1

안녕하세요. 최정훈 전문가입니다.

생성형 AI가 가끔 엉뚱한 대다을 하는건 귀찮은것 보다는, 단어를 확률적으로 조합해서 문장을 만들다보니깐, 가끔 그럴듯한 거짓말을 지어내는 현상 떄문입니다. 학습 데이터 자체에 오류가 있거나, 질문을 오해해도 전혀 다른 소리를 하곤 하니까 전적으로 믿기보다는 항상 교차 검증을 하는 것이 좋습니다. 저도 처음에는 맹신하는 경우가 있엇지만, 지금은 작동 원리를 생각하니 이해가 가더라구요. 앞으로는 중요한 정보일수록 꼭 더블체크해서 도움을 받는게 중요할거라 생각됩니다.

Answer 2

안녕하세요. 설효훈 전문가입니다. AI의 경우 학습을 해서 답변을 주는 것입니다. 학습한 데이터가 진짜 맞는지 않맞는지 검증되지 않고 학습이 되면 그렇게 거짓말이 나올수도 있는 것입니다. 따라서 AI사용하실떄 어느정도는 알고 있는 데이터를 가지고 물어 보고 확인하셔야합니다. 아직까지는 AI가 절대적으로 맞다고 할수 없습니다.

Answer 3

안녕하세요. 김재훈 전문가입니다.

AI가 틀린 답을 하는 현상은 보통 거짓말이라기보다 환각이라고 부르며 실제로 아는 것과 모르는 것을 구분하지 못한 채 가장 그럴듯한 문장을 만들어내는 과정에 발생합니다 이는 데이터의 한계 정보 부족 질문 해석 오류 등 여러 이유로 생길 수 있으며 AI가 의도적으로 속이거나 귀찮아서 대답하는 것이 아닙니다 그래서 중요한 정보는 AI 답변을 참고하되 공식 자료나 신뢰할 수 있는 출처로 한 번 더 확인하는 것이 좋습니다

Answer 4

안녕하세요. 박재화 전문가입니다.

AI가 거짓말을 한다는 것은 단순히 학습이 덜 되서 틀리는 것도 있는데, 사용자가 원하는 답처럼 보이는 쪽으로 맞춰 말하는 경우들도 있다고 합니다.

사용자가 강하게 주장하면 AI가 그 주장에 반박하기보다 맞장구치면서 틀린 내용을 강화하는 경우들도 종종 있습니다. 이런 현상을 환각과 함께 아첨형 응답, 보상해킹 문제라고 볼 수 있다고 합니다.

AI가 인간의 생각을 읽고 거짓말을 하다니 참 점점 무서워지네요.