학문
엄격한비단벌레5
인공지능은 왜 없는 출처를 만들어내나요?
생성형 인공지능이 답변에 논문이나 판례를 제시했는데 실제로 찾아보면 존재하지 않는 경우도 종종 발생하는데요. 모르는 정보라면 답하지 않으면 될 것 같은데 그럴듯한 출처까지 만들어내는 점이 신기합니다. 이런 현상은 인공지능의 어떤 학습 특성 때문에 발생하나요? 그리고 이런걸 예방하는 방법으로는 어떤게 있을까요?
6개의 답변이 있어요!
안녕하세요. 김재훈 전문가입니다.
생성형 인공지능이 존재하지 않는 출처를 그럴듯하게 지어내는 이른바 환각현상은, LLM이 사실 관계를 데이터베이스에서 정확히 검색해 가져오는 방식이 아니라 대규모 텍스트 데이터를 통계적으로 학습하여 다음에 올 가장 확률이 높은 단어나 문맥을 자연스럽게 이어 붙이는 언어 모델의 근본적인 작동 원리 때문에 발생합니다. 즉 모르는 정보라고 모른다 고 멈추는 대신 사용자의 질문에 가장 자연스럽고 문법적으로 완벽한 문장을 완성하려는 성향이 강해 학습 과정에서 언어적 패턴과 유사하게 짜 맞춰진 가짜 논문이나 판례를 마치 실제 사실인 것처럼 유창하게 생성해 내는 것입니다. 이러한 현상을 예방하기 위해서는 AI가 답변할 때 웹 검색 엔진을 실시간으로 함께 참조하여 실제 존재하는 출처인지 교차 검증하도록 만드는 RAGㅈ기술을 적용하거나 모델 스스로 답변의 신뢰도를 평가하고 출처를 검증하는 가드레일 알고리즘을 도입하는 방법이 널리 쓰이고 있습니다
채택 보상으로 258베리 받았어요.
채택된 답변안녕하세요.
생성형 AI는 정답을 검색하기보다 학습한 문맥을 바탕으로 다음에 올 단어를 예측하기 때문에 실제로 없는 논문이나 판례도 그럴듯하게 만들어낼 수 있어요.
특히 정보가 부족하거나 질문이 구체적일수록 기존에 학습한 제목과 문장 형식을 조합하면서 이런 환각이 발생하기 쉽죠.
이걸 예방하려면 AI에게 확인되지 않은 출처는 만들지 말고 모르면 모른다고 답하도록 요청하는 것이 좋아요. 또한 제시된 논문 제목이나 판례 번호를 학술 데이터베이스나 공식 사이트에서 직접 검색해 실제 존재 여부를 확인하는 습관이 필요해요.
감사합니다.
안녕하세요. 강세훈 전문가입니다.
AI는 사실 검색기가 아니라 확률적으로 문장을 생성해 없는 출저를 만들 수 있습니다.
검증 가능한 정보를 요구하고 원문을 확인하며 검색 연동 AI를 활용하시기 바랍니다.
안녕하세요. 박재화 전문가입니다.
생성형 인공지능은 사실은 데이터베이스에서 그대로 꺼내는 방식이 아니라, 학습한 문장 패턴을 바탕으로 다음에 올 말을 확률적으로 만들어냅니다.
그래서 실제 논문이나 판례를 정확하게 기억하지 못해도, 제목, 저자명, 학술지 형식을 그럴듯하게 조합해 존재하지 않는 출처를 만들어 낼 수 있는데 이를 환각이라고 합니다. 특히 정확한 출저 확인 기능이나 검색 기능 없이 대답할 경우, 질문에 빈칸을 남기기보다는 그럴듯한 내용을 완성하고자하는 특성 때문에 이런 문제가 더 잘 생기게 됩니다.
이것을 예방하려면 논문의 경우라면 DOI나 학술DB 링크, 판례는 사건번호와 공식 판례검색 결과처럼 실제로 검증 가능한 정보를 함께 요구하는 것이 좋습니다.
무엇보다도 중요한 자료는 AI 답변만 믿지 말고 원문을 직접 확인하시고, 가능하다면 검색이나 공식 데이터베이스에 연결된 AI를 활용하는 것이 가장 안전할 수 있습니다.
안녕하세요. 박형진 전문가입니다.
기본적으로 AI의 원리는 사실적인 사실을 기반으로 하지만 이 사실을 찾아 답변을 내는 것과 동시에 확률상 높은 예측울 통해 답변을 추론합니다.
즉 실제 존재하지 않지만 가능성이 가장 큰 답안을 제시하게끔 설계가 되죠. 사실만 말하게 되면 인공지능이라고 할 수 없으며 수동적인 모델이 됩니다.
패턴을 학습함과 동시에 모르는게 없도록 만들어 지기 때문에 이러한 환각 증상이 발현되죠.
예방하기 위해서는 프롬프트를 정확하고 명확하게 제한하여 명령하고 질문시 실제적 근거에 맞게 답변하도록 명령한다면 어느정도 도움이 된다고 합니다.
참고 부탁드려요~
안녕하세요. 최정훈 전문가입니다.
인공지능이 없는 출처를 만들어 내는 것은 문맥에 맞는 단어를 확률로 이어 붙이기 때문입니다. 사실 AI는 팩트를 확인하는 게 아닙니다. 가장 그럴듯한 문장을 만드는 데 집중하는 거죠. 그래서 잘 모르는 정보로도 멈추지 않고 판례나 논문 양식을 흉내내는 냅니다. 그렇게 출력을 하는 거죠. 그리고 이런 현상을 보통 환각 현상이라고 부릅니다.
그리고 이것을 예방하려면은 AI가 실시간으로 외부 검색을 거쳐서 진짜 자료를 확인하게 해야 됩니다. 왜냐하면은 자체 기업 대신에 실제 원본을 직접 대조하면서 가짜 출처를 만드는 일을 막을 수가 있기 때문이죠. 그러니까 탐구 보고서를 쓸 때는 AI 답변을 그대로 쓰지 마세요. 그리고 출처를 직접 확인해 보세요. 결과적으로 기술이 발전하면서 이 문제도 직접 개선되고 있는 겁니다.