인공지능에게 '모르겠습니다'라고 답하게 하는 것이 중요할까요?

Question

인공지능이 확신이 없는 상황에서도 답변을 만들어내는 문제를 줄이기 위해 불확실성을 표현하고 인간에게 판단을 넘기는 기준을 어떻게 설계할지 설명해 주세요.

성실한 답변 부탁드립니다.

Answer 1

중요합니다. 다만 모르겠다는 말을 자주 하게 만드는 것 자체가 목표가 되면 도구로서 쓸모가 없어집니다. 실제로 선택지에 모름을 넣어 두면 거부가 급격히 늘어나는데, 그중 상당수는 사실 제대로 답할 수 있었던 문제였다는 연구도 있습니다. 핵심은 태도가 아니라 언제 멈출지를 정하는 기준입니다.

왜 어려운지부터 보면, 지금의 인공지능은 다음에 올 말을 확률로 고르는 구조라 아는 것과 그럴듯한 것을 스스로 가려내기가 쉽지 않습니다. 게다가 학습과 평가 과정에서 답을 내놓는 쪽이 더 좋은 점수를 받아 왔기 때문에, 침묵보다 추측이 이득이 되는 습관이 배어 있습니다.

그래서 설계는 두 축으로 나눠 생각하시면 됩니다. 하나는 스스로 얼마나 확신하는지를 재는 일이고, 다른 하나는 그 확신이 어느 선 아래로 내려갈 때 멈출지를 정하는 일입니다. 앞쪽은 기술의 몫이지만 뒤쪽은 그 일의 성격이 정합니다.

기준선은 틀렸을 때의 비용으로 잡는 게 맞습니다. 아이디어를 떠올리는 자리라면 틀려도 손해가 작으니 문턱을 낮게 둬도 됩니다. 반대로 의료나 법률, 금액과 날짜가 들어가는 일은 조금만 흔들려도 멈추고 사람에게 넘겨야 하고요. 같은 시스템이라도 쓰이는 화면마다 이 값이 달라야 합니다.

멈추는 방식도 중요합니다. 모르겠습니다 한마디로 끝내면 사용자는 아무것도 할 수 없습니다. 어디까지가 확실하고 어디서부터 불확실한지, 확인하려면 무엇을 보면 되는지를 함께 줘야 그 답이 쓸모를 갖습니다.

실무적으로는 근거를 함께 내놓게 하는 방식이 잘 통합니다. 답과 출처를 같이 요구하면 근거를 찾지 못하는 순간이 곧 멈춰야 할 지점이 됩니다. 같은 질문을 여러 번 시켜 답이 갈리는지 보는 방법도 확신을 재는 간단한 수단입니다.

마지막으로 평가 방식을 바꿔야 행동이 바뀝니다. 정답률만 재면 찍는 쪽이 이득이라 계속 지어냅니다. 틀린 답에는 벌점을 주고 모른다고 밝힌 것에는 벌점을 주지 않는 식으로 채점 기준을 손보면 그때부터 달라집니다. 결국 사람의 시험 제도와 똑같은 이야기입니다.

Answer 2

인공지능은 보통 세상에 퍼진 정보들을 위주로 우리에게 알려주는데 미래에 정보 특히 주가나 코인 가격 상승에 대한 것은 모른다고 말을 하는 것이 일반적입니다. 그리고 윤리적 주관적 판단, 법적 및 의료적 책임이 따르는 전문 영역에서 답변을 제한합니다. 책임 소재를 피하기 위한 윤리적 가이드라인 때문입니다.