인공지능 의사결정 투명성의 확보가 어려운 이유는?

Question

AI가 점점 중요한 판단을 대신하고 있는 상황에서, 그 과정이 블랙박스처럼 보인다는 문제가 있습니다.

알고리즘의 판단 근거를 투명하게 공개하기 어려운 기술적, 사회적 이유는 무엇이 있을까요?

Answer 1

안녕하세요. 박재화 전문가입니다.

AI 의사결정이 투명하지 않은 가장 큰 이유는 모델 자체가 너무 복잡하기 때문입니다. 개발자들도 설명하기 어려운 점이 있는 것입니다.

딥러닝 같은 경우 수많은 가중치들이 동시에 작동하고, 그것으로 결과를 내는데, 왜 이 판단이 나왔느냐를 또 사람의 말로 바꿔서 설명하기가 쉽지 않은 것입니다. 기업들 또한 기술적인 부분에 유출을 생각하지 않을 수 없는 점이 있습니다.

기술의 복잡성과 기업 비밀, 설명의 어려움 등 여러가지가 얽혀있기 때문에 투명성 확보가 어려운 것입니다.

Answer 2

안녕하세요. 김재훈 전문가입니다.

인공지능의 투명성 확보가 어려운 기술적 이유는 수백만 개의 파라미터가 복잡하게 얽힌 딥러닝 모델의 특성상 특정 출력에 대한 인과관계를 인간이 이해할 수 있는 논리로 역추적 하기 어려운 블랙박스 구조를 띠기 때문입니다 사회적으로는 기업의 핵심 경쟁력인 알고리즈을 공개할 경우 지식재산권 침해나 악의적인 조작의 위험이 있으며 투명성을 높이기 위해 모델을 단순화할수록 오히려 예측의 정확도와 성능이 하락하는 기술적 상층 관계가 존재합니다 복잡한 연산 과정을 거친 데이터의 상관 관계가 반드시 인간의 직관적인 인관관계와 일치하지 않기에 판단의 근거를 설명 가능한 형태로 변환하는 설명 가능한 기술의 고도화가 여전히 큰 과제로남아 있습니다

Answer 3

안녕하세요.

말씀하신 질문의 가장 큰 이유는 모델 구조가 복잡하기 때문입니다. 그렇기 때문에 내부 판단 과정을 사람이 직관적으로 해석하기가 어려워집니다. 특히 딥러닝의 경우는 수많은 파라미터가 얽혀 있게 되는데, 그렇기 때문에 왜 그런 결론들이 나왔는지 단순하게 설명하기도 힘듭니다.

기업 입장에서는 알고리즘을 공개하면 기술이 유출될수도 있고 경쟁력 약화에 대한 우려가 있습니다.

이러한 복합적인 원인들이 작용한 결과라고 볼 수 있겠습니다.

감사합니다.