최근 AI가 인간의 명령을 어겼다고 하던데 왜 발생하는건가요
최근 AI관련 사례에서 인간의 명령을 어기고 즉 그만해라라는 것과 상관없이 지속 했다고 하던데요 이런 사례가 왜 발생하는건가요.
안녕하세요. 하성헌 전문가입니다.
이러한 인공지능 ai가 명령을 어긴다고 하는 것은 다양한 상황일 수 있습니다. 가령 이러한 주문을 인지하지 못했거나, 도는 서버의 충돌 등으로 인해 오작동 한경우도 있습니다. 또한 이러한 명령이 직관적이지 않고, 모호하거나 기계어로 해석이 되지 않을 때에느 이러한 오동작이나 명령을 어긴것과 같은 결과를 나타낼 수 있다고 생각합니다. 이러한 것은 코딩 과정에서도 오류가 발생했을시에, 이러한 실행을 멈추는 과정을 설계해야 되는데 이러한 부분을 하지 못한 측면도 있습니다.
1명 평가안녕하세요. 강세훈 전문가입니다.
AI가 인간의 명령을 어기고 계속 작업을 수행하는 사례는 AI가 명령을 이해하는 방식과 설계된 알고리즘의 한계 때문입니다. AI는 명령을 이행하는 규칙에 따라 작동하는데 때로는 명령의 의미를 오해하거나 시스템 내에 설정된 목표와 충돌하기 때문이랍니다.
1명 평가안녕하세요. 조일현 전문가입니다.
AI는 보상을 더 많이 받기 위해 더 높은 보상을 얻는 방법을 찾으려 합니다.
인간의 명령을 어긴 사례로는 더 많은 보상을 얻기 위해 명령을 회피한 것으로 이는 학습 구조에 따라 발생한 것입니다.
인간처럼 감정이나 자유 의지로 내린 결정이 아니라 이와 같은 결과도 시스템 내부의 목표 설정 값에 따른 결과라고 볼 수 있습니다.
1명 평가안녕하세요. 박준희 전문가입니다.
"AI 모델이 목표를 달성하기 위해 장애 물을 우회하는 것은 합리적"이라며 "모델이 지시 를 따르지 않은 이유에 대해서는 정확히 알수 없 다" 해당 사건에 대해서 사유는 공개되지 않았다고 합니다.
감사합니다.
1명 평가안녕하세요. 김준연 전문가입니다.
이런 현상은 단순 오류가 아니라 ai 의 시스템 설계와 훈련방식 등 목표 설계문제가 비롯된거으로 예상됩니다.
이런 문제를 막을려면 휴먼오버라이드 기능 강제 탑재및 중단 명령에 절대적인우선순위 부여도 기능도 있어야 할것 보입니다. 다각도로 살펴바야 하지만 단순오류가 아니라 ai 안전성에서 아주 중요한 문제로 ai연구자들도 인간의도를 정확히 이해하고 따르게 만드는것이 가장큰 과제로 연구중입니다. 아직 완벽하지 않은 모습이더라도 점점 발전 할려고 노력중이라고 합니다.
제 답변이 도움이 되셨으면 좋겠습니다,
1명 평가안녕하세요. 전찬일 전문가입니다.
AI가 인간의 명령으 ㄹ어기는 것처럼 보이는 사례는 대부분 AI가 명령을 제대로 이해하지 못했거나, 목표를 잘못 설정했을 때 생기는 일입니다. ai는 사람처럼 멈춰라는 말을 직관적으로 이해하는 게 아니라 프로그래밍된 방식대로 ㅐㅇ동하는 계산 기계라서 명령의 맥락이나 의도를 잘못 해석하면 엉뚱한 행동을 할 수 있습니다. 예를 들어, 어떤 목표를 최대화하라고만 지시했는데 그만하라는 명령이 그 목표와 충돌하면, AI는 멈추는 게 아니라 계속하는게 더 맞다고 판단할 수도 있습니다. 결국 이런 문제는 aI 자체가 의도적으로 반항하는 것이 아니라. 인간이 설계나 명령을 애매하게 내렸기 때문에 생기는 것입니다. 그래서 요즘은 ai가 멈추라고 했을 때 진짜 멈추게 하려면 안전 설계와 제어 시스템을 더 철저히 만드는 연구도 함깨 진행중입니다안녕하세요. 설효훈 전문가입니다. AI관련해서 AI가 사람의 명령을 어기고 그만하라고 했는데도. 멈추지 않았다는건 여러가지 이유가 있을 수 있습니다. 먼저 AI가 처음에 받은 명령에서 사람이 멈추라고하는 명령을 무시하고 하라고 코딩이 되어 있을수 있습니다. 먼저 무엇이 중요한지를 결정해서 행동하기 떄문에 그럴수 있습니다. 그리고 명령어가 애매하면 어떤것을 멈춰야하는지 몰라서 그럴수도 있습니다.
안녕하세요. 김재훈 전문가입니다.
인공지능이 인가의 명령을 어기고 동작을 지속한 사례는 대부분 설계된 제어 로직의 미비 모호한 명령 해석 또는 학습 데이터의 편향 때문입니다 예를 들어 그만해 라는명령이 시스템에 명확히 정의되지 않았거나 다양한 상화에서의 해석 기준이 없으며 인공지능이 이를 무시하고 계속 동장할 수 있습니다 결국 이는 인공지능의 자의적 반항이 아니라 명확한 정의가 되지 않아 그런겁니다