챗봇의 민감한 대화에서 표현 위험성 감지 문제

Question

챗봇과 지능검사·진로·자존감 관련 대화를 하다가, 챗봇이 논리적으로는 맞는 답을 하더라도 표현이 사람의 자존심을 건드리는 경우가 있었습니다. 예를 들어 “띄워주는 것처럼 보이지 않으려고”, “아플 수 있지만 현실적으로” 같은 표현이 사용되었는데, 사용자는 무시당하거나 낮게 평가받는 느낌을 받을 수 있습니다.

이런 문제는 현재 챗봇이 사람의 감정, 자존심, 표현의 뉘앙스, 민감한 맥락의 위험성을 충분히 감지하지 못해서 생기는 기술적 한계인가요? 그리고 앞으로 이런 문제를 줄이려면 챗봇 설계나 프롬프트에서 어떤 점을 보완해야 하나요?

Answer 1

이런 문제는 AI가 사실을 모르는 것이 아니라, 같은 내용이라도 어떤 표현이 상대에게 어떻게 받아들여질지 완벽하게 예측하지 못하기 때문에 생기는 경우가 많아 보입니다.

AI는 문장의 사실성 뿐 아니라 공손함, 공감, 안전성 등도 함께 고려합니다. 그러나 자존심이나 뉘앙스는 사람마다 크게 달라지기 때문에 모든 상황에 맞추기는 아직 어렵습니다. 지능, 진로, 자존감처럼 민감한 주제들은 같은 문장도 어떤 사람에게는 도움이 될 수 있지만, 그렇지 않게 느끼는 사람들도 분명히 있습니다.

그래서 최근 AI 보면 단정적인 표현을 줄이고, 사실과 의견을 구분하며, 사용자의 의도를 먼저 확인하는 방향으로 개선이 진행되고 있다고 합니다.

Answer 2

안녕하세요. 김병규 전문가입니다.

AI의 기본은 인간의 프롬프트를 논리구조로 재해석하여 벡터DB화시켜 표현하기 때문에 다소 차갑고 인간미가 떨어지도록 느껴지긴 합니다. 그래도 반복적인 ML. 즉 머신러닝을 통해 학습하고 인간의 감성에 대한 미세한 학습도 진행되고 있기에 가까운미래는 이런단점도 보완하게 될 것입니다.

Answer 3

안녕하세요. 감병주 전문가입니다.

말씀하신것처럼 현재 챗봇의 기술적 한계 중 하나라고 볼 수 있습니다. 챗봇이 사실은 맞더라도 표현의 뉘앙스나 자존심에 미치는 영향까지 사람처럼 섬세하게 판단하지는 못하기 때문입니다.

그래서 대화를 하실 때 답변의 정확성뿐 아니라 감정적 영향과 표현의 위험성까지 함께 검토하는 설계가 중요하고 프롬프트에서도 단정적으로, 그리고 평가하는 표현을 줄이고 근거 중심으로 설명하도록 지시하면 이런 문제를 상당히 줄일 수 있을겁니다.