할루시네이션 현상이 커지는 이유가..

Question

참으로 아이러니 한이슈가 아닐지 싶네요

할루시네이션 현상이 뚜렷이 나타나고 있다고 하는데요.

연구자도 난감하다고 한다는데

어찌그런것인지 알고 싶네요

Answer 1

안녕하세요. 이대길 경제전문가입니다.

현상이 심화되는 원인은 AI의 근본적인 학습 구조와 평가 방식에 있습니다

AI는 사실을 기억하는 검색엔진이 아니라 다음에 올 가장 그럴듯한 단어를 확률적으로 예측해 문장을 만드는 방식으로 동작합니다 AI의 추론 능력이 고도화될수록 모르는 질문을 받았을 때 "모른다"고 답하기보다 자신의 추론으로 정답처럼 보이는 논리적 허구를 완벽히 꾸며내는 정교함이 더 커집니다

또한 기존 평가 체계가 '모름'이라는 정직한 답변보다 일단 찍어서 맞추려는 추측 답변에 더 높은 점수를 주도록 설계되어 있어 모델 스스로 거짓말을 시도하게 만드는 문제도 존재합니다

Answer 2

안녕하세요. 박형진 경제전문가입니다.

할루시네이션 현상은 AI가 인간처럼 이게 아닌거 같다는 의심과 검증할 수 있는 머리가 없다는데서 발생합니다.

인간은 이게 맞나 하는 의심과 검증을 하기 위해 뇌를 사용하지만 AI는 이를 못하고 문장의 어떤 패턴만 학습해 자연스럽게 연결해 나갑니다. 이는 잘못된 내용이지만 교묘하게 어떤 사실적 논문이나 뉴스, 객관적인 지표 등을 섞어서 자신의 의견을 대변하는 용도로 만들어 결과를 보여줍니다. 이게 사실이 아닌데도 말이죠.

또한 기본적으로 AI는 모르는게 없다고 설계되어 있어 진실이 아니어도 비슷하게 학습된 잘못된 내용을 진실인양 보여주기도 하죠.

AI 전문가들은 이러한 문제를 해결하기 위해 현재도 연구중입니다.

참고 부탁드려요~

Answer 3

안녕하세요. 인태성 경제전문가입니다.

할루시네이션 현상은 환각으로

요즘 AI가 사실이 아닌 내용을 그럴듯한 거짓말로 꾸며내는 현상을 의미합니다.

이런 현상이 커지는 이유는 바로 진실 검증이 안된 단어 예측 위주의

작동방식이 주로 되기에

이런 현상이 계속해서 발생한다는 것입니다.

Answer 4

안녕하세요. 김창현 경제전문가입니다.

생성형 인공지능의 할루시네이션 현상이 최신 모델일수록 오히려 더 정교하고 뚜렷해지는 현상은 AI 학계의 가장 큰 역설 중 하나입니다. 과거의 AI는 엉뚱하거나 문맥에 맞지 않는 조잡한 거짓말을 했다면, 최근의 대형언어모델들은 완벽한 문장 구조와 전문적인 용어를 섞어 매우 그럴싸한 거짓말을 만들어냅니다. 이러한 현상이 발행하는 이유는 모델의 크기가 커질 수록 언어 능력과 문장 생성력은 비약적으로 발달하지만, 정작 사실을 검증하는 능력은 그에 비례해 자라지 못하기 때문입니다. 글을 유창하게 쓰는 문장력은 천재 수준인데, 자신이 내뱉는 지식의 참과 거짓을 스스로 판별하는 비판적 사고 메커니즘은 여전히 부재한 상태인 것입니다.

Answer 5

안녕하세요. 장지은 경제전문가입니다.

거대한 언어모델이 학습한 방대한 데이터 속에서 오류나 패턴을 확률적으로 조합하는 과정에서, 사실이랑 다른 정보를 생성합니다. 모델이 창의성을 발휘하도록 설계된 알고리즘이 오히려 정확한 사실관계보다는 그럴듯한 문장만들기에 치중하기 때문이죠. 그래서 연구자들이 이현상을 통제하기 어려운 이유는 모델 내부에 추론과정을 설명할수 없는 블랙박스 구조 때문입니다. 결론적으로는 정답을 찾기보다는 문맥을 맞추는 본질적 한계가 할루시네이션을 유발하는 겁니다. 그래서 앞으로 더 정교한 검증기술이 개발되기를 기대해보는게 좋을것 같아요.