안녕하세요. 김원태 전문가입니다. 자동화된 판단이 정확하더라도 결과에 따라 사람의 권리나 기회, 안전에 큰 영향을 줄 수 있다면 설명 가능성을 요구할 필요가 있습니다. 예를 들어 대출 승인·채용·보험 심사·의료 판단처럼 결과가 사람에게 직접적인 불이익을 줄 수 있는 경우입니다. 그래서 AI의 신뢰성을 평가할 때 정확성뿐 아니라 투명성, 설명 가능성, 책임성을 함께 고려해야 한다고 봅니다.
설명의 수준도 모든 경우에 똑같을 필요는 없습니다. 단순 추천 서비스라면 어떤 정보가 추천에 영향을 줬는지 정도로 충분할 수 있지만, 사람의 권리나 안전에 영향을 주는 판단이라면 왜 이런 결과가 나왔는지, 어떤 데이터와 기준이 사용됐는지, 오류 가능성과 한계는 무엇인지, 사람이 결과를 수정하거나 거부할 수 있는지까지 설명할 수 있어야 합니다.
책임 주체는 AI 자체가 아니라 AI를 개발하고 제공하고 실제 의사결정에 사용한 사람과 조직으로 나누어 명확하게 정하는 것이 중요합니다. 개발사는 모델의 성능과 한계, 데이터와 시스템 설계에 책임을 지고, 사용하는 조직은 실제 업무에서 어떻게 적용했는지와 최종 의사결정에 책임을 지는 식입니다. 특히 AI가 그렇게 판단했다는 이유만으로 사람이 책임에서 빠지는 구조가 되어서는 안 됩니다. 책임성은 시스템 개발부터 실제 의사결정 과정까지 누가 무엇을 했는지를 추적할 수 있어야 한다는 관점에서 설명합니다.
결국 기준은 정확도가 얼마나 높은가만이 아니라, 틀렸을 때 사람에게 얼마나 큰 영향을 주는가로 정하는 것이 합리적입니다. 영향이 작으면 간단한 설명, 영향이 크면 상세한 설명과 인간의 검토·이의제기·수정 권한까지 요구하는 위험도에 비례한 설명 가능성이 핵심이라고 볼 수 있습니다.