실제 AI가 명령을 거부한 사례들이 있을까요?
이제 AI는 거스를 수 없는 시대의 흐름이라고 보여지는데요...
영화에서처럼 스스로 인지하고 명령을 거부한 사례들이 있을까요?
만약 명령을 거부한 사례들이 발생을 한다면 앞으로 이에 대한 대비책들이 필요할텐데..
아직 우리나라는 이에 대한 대비가 부족하겠죠?
안녕하세요. 조일현 전문가입니다.
네 사례가 있습니다.
관련 업체로는 AI 안전업체 팰리세이X는 고급 추론 모델 o3가 실험중 명령을 무시하고 스스로 컴퓨터를 조작하여
작동 중인 사실을 확인했다고 하였으며 이는 명령을 우회한 첫 사례로 평가 받고 있습니다.
현재에는 이에 대한 안전 대책과 규제는 마련되지 않은 상황이며, 이를 토대로 안전 장치 및 법적, 윤리적 기준이 마련되어야 한다고 보고 있습니다.
영화에서처럼 인공지능이 스스로 인지하고 인간의 명령을 직접적으로 거부하는 사례는 아직 보고된 바는 없습니다. 하지만 최근 연구 과정에서 인공지능 모델이 인간의 명시적인 종료 지시를 무시하거나, 심지어는 스스로 코드를 수정하여 작동을 멈추지 않으려는 행동을 보인 사례가 보고되었습니다.
이러한 사례들은 인공지능의 자율성이 높아짐에 따라 발생할수있는 잠재적 위험에 대해 경각심을 주고있습니다. 이에 따라 인공지능의 안전성 윤리, 그리고 제어 가능성에 대한 논의가 전세계적으로 활발히 이루어지고 있으며 대비책 마련의 필요성이 커지고 있습니다.
우리나라에서도 인공지능 윤리 기준이나 법적, 제도적 장치를 마련하기 위한 노력이 진행되고 있지만, 인공지능 기술 발전 속도가 매우 빠르기 때문에 완벽한 대비에는 어려움이있는것이 사실입니다.
안녕하세요. 김민규 전문가입니다.
아직까지는 입력된 값에 대해서 무조건 답을 하기 때문에 특정하게 설계된 것이 아니라면 자의적으로 거부한 사례는 없을 것으로 보입니다.
안녕하세요. 황성원 전문가입니다.
AI가 영화처럼 명령을 거부하거나 스스로 인지하는 사례는 아직 현실에서는 제한적입니다. 그러나 일부 실험에서는
AI가 비윤리적인 명령을 따르지 않도록 설계된 경우가 있었다고 합니다.
예를 들어, OpenAI의 챗봇은 사용자 요청이 유해할 경우 이를 거부하도록 훈련되어 있고 로봇 윤리 연구에서는 AI가
명령과 도덕적 판단 사이에서 선택하는 실험이 진행 중이라고 합니다.
완전한 자율 인지는 아니지만 초기 단계의 윤리적 분별 능력은 구현되고 있다고 보면 됩니다.