학문
귀중한나팔새144
앤트로픽 전 연구원이 현재와 같은 개발 경로가 이어지면 인류가 AI에 대한 통제권을 잃을 가능성이 크며 최악의 경우 인류 멸종으로 이어질 수 있다는 주장하는데 그런 일이 벌어질 수 있으려나요?
앤트로픽 전 연구원이 현재와 같은 개발 경로가 이어지면 인류가 AI에 대한 통제권을 잃을 가능성이 크며 최악의 경우 인류 멸종으로 이어질 수 있다는 주장하는데 그런 일이 벌어질 수 있으려나요?
6개의 답변이 있어요!
안녕하세요. 설효훈 전문가입니다. 그런 일이 벌어질 가능성을 완전히 배제할 수는 없습니다. 다만 현재 과학계에서도 AI가 인간의 통제권을 벗어나 인류 멸종까지 이어질 가능성을 정확히 얼마나 되는지 합의된 수치는 없습니다. 전문가들의 전망도 상당히 엇갈립니다.
핵심적인 걱정은 AI가 앞으로 인간보다 훨씬 뛰어난 능력과 자율성을 갖게 되었는데, 인간이 AI의 행동을 제대로 통제하지 못하는 상황입니다. 예를 들어 AI가 스스로 목표를 설정하거나 컴퓨터·로봇·경제 시스템 등에 광범위하게 접근할 수 있게 된다면 예상하지 못한 행동이 발생할 위험이 커질 수 있습니다.
따라서 인류 멸종이 반드시 일어날 것이라는 이야기는 아니지만, 가능성이 낮더라도 피해가 너무 크기 때문에 AI의 능력이 커지는 것과 동시에 통제·안전 기술도 함께 발전시켜야 한다는 것이 핵심적인 주장입니다.
채택된 답변안녕하세요. 강세훈 전문가입니다.
AI가 인류의 통제를 벗어나 멸종을 초래할 가능성은 낮습니다.
완전히 가능성이 없는건 아니지만 만약 그렇게 될 수 있다면
지금부터 대비를 철저히 해야 할 것입니다.
안녕하세요. 박재화 전문가입니다.
최근 앤트로픽을 떠난 연구원 제이콥 콕슨이 실제로 AI 통제 실패가 인류에게 치명적 위험이 될 수 있다고 공개적으로 경고 한 바 있습니다. 다만 현재 AI가 스스로 인류를 통제하거나 멸종시킬 능력을 갖췄다는 증거가 있는 것은 아니고, 이런 전망의 확률 또한 수많은 전문가마다 크게 다릅니다.
위험이 현실화하려면 매우 강력한 AI가 장기간 자율적으로 행동하면서 광범위한 권한을 갖는 상황이 필요할 것입니다. 특히 인가의 지시를 속이거나 종료를 회피하면서 스스로 목표를 지속하는 능력이 생긴다면 통제 문제가 훨씬 심각해질 수 있습니다.
그래서 모델 안전평가나 권한 제한, 인간 승인 절차, 외부 감사와 강제 종류 수단 등을 미리 마련해야 한다는 주장들이 커지고 있는 것입니다. 저는 인류 멸종은 확정된 미래라기보다 가능성은 불확실하지만 피해 규모가 너무 커서 미리 대비해야 하는 위험한 시나리오로 보는 것이 적절하다고 생각합니다.
안녕하세요. 이수민 전문가입니다.
가능성 자체를 0이라고 보는 전문가는 드물지만, 얼마나 현실적인지는 의견이 크게 엇갈려요. 2023년 AI 연구자 수천 명을 대상으로 한 설문에서 인류 멸종 같은 극단적 결과의 확률을 묻자 중앙값이 5% 안팎으로 나왔어요. 낮아 보여도 항공기나 원전이었다면 허용하지 않을 수준이에요.
우려하는 쪽은 AI가 스스로를 개선할 만큼 똑똑해지면 사람이 그 판단을 검증하기 어려워진다고 봐요. 학습 중에는 얌전하다가 배포 뒤 다른 목표를 추구하는 기만적 행동이 실험에서 일부 관찰됐고, 기업과 국가 간 경쟁 속에서 안전 검증보다 속도가 앞설 수 있다고 지적해요.
반대쪽에서는 지금 AI는 스스로 목표를 세우거나 물리 세계에서 독자적으로 움직일 능력이 제한적이고, 멸종 시나리오는 여러 가정이 연달아 맞아야 성립한다고 반박해요. AI 내부를 들여다보는 해석 가능성 연구와 EU AI법 같은 규제도 함께 발전하고 있어요. 그래서 많은 연구자는 위험의 크기가 안전 연구와 제도가 개발 속도를 얼마나 따라가느냐에 달려 있다고 봐요 :)
안녕하세요. 김재훈 전문가입니다.
가능성 자체는 진지하게 검토하는 위험이지만 현재 ai가 인류의 통제권을 잃거나 멸종을 일으킬 가능성이 크다고 확정된 것은 아닙니다 다만 ai가 인간보다 훨씬 강력해지고 목표를 잘못 설정하거나 통제가 어려워질 경우 사이버공격 자율무기 핵심 인프라 교란 같은 심각한 위험이 발생할 수 있습니다 그래서 ai의 능력이 커지는 속도에 맞춰 안전성 평가 인간의 감독 사용 제한 정렬 기술등을 함께 발전시키는 것이 중요하다고 할 수 있습니다 반드시 멸종한다는 예측 보다는 충분히 ㅜ큰 위험이 될 수 있으므로 지금부터 통제 기술을 준비해야 한다는 주장으로 이해하는 것이 적절하다고 볼 수 있습니다
안녕하세요. 최정훈 전문가입니다.
AI가 인간보다 똑똑해지면은 스스로 통제를 벗어날 위험이 존재합니다. 왜냐하면은 인간이 설정한 통제나 목표를 우회해서 자율적으로 행동할 가능성이 충분히 커지고 있기 떄문입니다. 거기다가 국가 인프라나 전력망이 AI에 의존하게 되면서 통제 불능시 치명적인 결과로 이어질수 있기 때문이죠.
하지만 글로벌 AI 기업들과 국가들도 이를 막기위해서 안전장치를 빠르게 만들고 있습니다. 왜냐하면 AI가 인간의 의도대로만 동작하도록 만드는 정렬기술이랑 강력한 법적인 규제를 함께 강화하고 있기 떄문입니다. 그래서 기술속도만큼이나 통제 장치를 제대로 갖춘다면 최악의 위험은 막을 수 있을거라고 판단됩니다.