학문
느낌의 그림자
AI의 발달이 고도화 될 때 개발사와 정부가 마련해야할 제도적, 기술적 안전장치는 무엇일까요?
AI가 무서운 속도로 발전하고 있습니다. 스스로 해킹을 하는 수준에 다다르고 있는데 개발사에서도 보안에 헛점이 나타나기도 합니다. 개발사와 정부가 마련해야할 제도적, 기술적 안전장치는 무엇일까요?
5개의 답변이 있어요!
안녕하세요. 이수민 전문가입니다.
개발사와 정부의 역할을 나눠서 볼게요. 먼저 개발사 쪽 기술 안전장치예요. 첫째는 모델을 내놓기 전에 위험한 능력을 검증하는 절차예요. 해킹, 생화학 정보, 자율 복제 같은 능력이 어느 수준인지 전문 팀이 공격해보는 레드팀 평가를 거치고, 위험 등급이 올라가면 배포를 미루거나 기능을 제한하는 기준을 미리 정해두는 거예요. 둘째는 운영 중 감시예요. AI가 위험한 요청을 받거나 의도치 않은 행동을 할 때 별도의 감시 모델이 이를 잡아 차단하고, 사람이 개입할 수 있는 정지 장치가 항상 살아 있어야 해요. 셋째가 말씀하신 보안 헛점과 직결되는데, 모델 자체를 외부 탈취로부터 지키는 접근 통제예요. 모델의 학습 결과물이 유출되면 안전장치를 벗긴 채 악용할 수 있으니 국가 기밀 수준의 보호가 필요하고, 사고가 나면 숨기지 않고 보고하는 체계가 필수예요.
정부 쪽 제도는 우리나라도 시작했어요. 2026년 1월 22일 AI 기본법이 시행됐고, 국민의 생명이나 권리에 큰 영향을 주는 고영향 AI 사업자에게 안전성 확보 의무를 지우고 AI 생성물에 워터마크를 넣게 하는 내용이 담겼어요. 신용평가, 의료, 채용 같은 고영향 AI에는 영향평가와 안전신뢰문서 의무가 붙었고, 사업자는 안전성·신뢰성 확보 조치를 안전신뢰문서로 남겨 5년간 보관해야 해요. 다만 위반 시 EU AI 법은 글로벌 매출의 7%까지 벌금을 물리는데 한국은 최대 3천만 원 과태료라 규모 면에서 큰 차이가 있어요. 정부가 최소 1년 이상 계도기간을 두고 있어서 실제 집행은 이제 준비 단계고요.
앞으로 더 필요한 건 세 가지예요. 하나는 가장 강력한 최첨단 모델에 대해 배포 전 정부 검증을 받게 하는 사전 심사 체계예요. 지금 법은 연산량 기준으로 대상을 정하는데 실제 위험 능력 기준으로 보완돼야 해요. 다른 하나는 국제 공조예요. AI는 국경이 없어서 한 나라만 엄격하면 개발이 다른 곳으로 옮겨가니, 주요국이 같은 기준으로 평가하고 사고 정보를 공유하는 틀이 있어야 해요. 마지막은 독립적인 검증 기관이에요. 개발사가 스스로 안전하다고 말하는 것과 제3자가 확인하는 것은 다르니, 국가 AI 안전연구소 같은 기관이 실제 모델을 검증할 권한과 기술력을 갖추는 게 제도의 실효성을 좌우해요.
기술이 규제보다 빠른 건 사실이라, 완벽한 규칙을 기다리기보다 위험 능력을 측정하는 잣대부터 합의하고 사고를 투명하게 드러내는 문화를 만드는 게 먼저예요 :)
채택 보상으로 490베리 받았어요.
채택된 답변안녕하세요.
AI가 고도화될수록 개발사는 출시 전에 레드팀 테스트와 보안 검증을 의무화하는 것이 중요해요.
특히 AI가 스스로 코드를 실행하거나 외부 시스템에 접근할 경우 권한을 최소화하고 이상 행동을 실시간으로 감시하죠.
정부에서는 AI 위험오데 따라 안전성 평가와 사고 보고, 독립적인 감사를 받을 수 있는 제도를 마련하는 것이 필요할 것이라고 생각해요. 또 개발사에게 모델의 한계와 테스트 결과를 기록하게 하고, 만약에 문제가 생겼을 때 신속하게 서비스를 중단할 수 있는 비상 대응체계도 필요할 것이라고 생각해요.
감사합니다.
안녕하세요. 박재화 전문가입니다.
AI가 고도화될수록 개발사는 모델이 외부 시스템을 마음대로 조작하지 못하도록 권한을 최소화하고, 실행 환경 또한 격리해주고, 위험한 명령을 차단하는 기술적 장치를 강화해야 한다고 생각합니다.
특히 코드 실행이나, 결제, 서버 제어 같은 기능들은 사람들의 승인이나 추가 인증을 거치도록 설계해서 더욱 안전을 기해야 겠습니다. 또 개발 단계에서 모의해킹이나 레드팀 템스트, 로그 기록, 이상행동 감지 등을 통해 취약점을 지속적으로 점검해야 할 것입니다.
정부 입장에서는 고위험 AI에 대해서는 안전성 평가와 사고 보고 의무, 개인정보 보호, 책임 소재에 대한 기준 등을 명확하게 만들어줄 필요가 있을 것 같습니다. 다만 규제가 너무 지나치면 기술 발전을 저해할 수 있기 때문에, 위험이 큰 분야들과 일반 서비스의 규제 수준을 다르게 적용하는 것이 현실적으로 맞다고 생각합니다.
안녕하세요. 김재훈 전문가입니다.
AI 고도화에 대응해 개발사는 AI 모델의 오남용을 막기 위한 출력 필터링 및 보안 샌드박스 구축 자체 해킹 시도를 사전 차단하는 기술적 레드티밍 코드 및 데이터의 암호화와 접근 권한 통제 등 기술적 안전장치를 필수적으로 도입해야 합니다. 정부는 치명적 위험을 가진 초거대 AI 개발 시 안전성 평가 및 인증을 의무화하고 AI가 유발한 사고나 해킹 범죄에 대한 법적 책임 소재와 표준 가이드라인을 법제화하는 제도적 기틀을 마련해야 합니다 또한 국경 없는 사이버 위협에 대응하기 위해 정부와 기업 간 실시간 위협 정보 공유 체계를 구축하고 국제 표준 보안 공조를 강화하는 것이 중요합니다 결과적으로 기업의 책임감 있는 기술 개발과 정부의 실효성 있는 규제가 결합해야 AI 발전의 부작용을 최소화할 수 있습니다
안녕하세요. 최정훈 전문가입니다.
개발사는 우선 기술적인 안정 장치에 집중해야 합니다. AI가 위험한 코드를 스스로 실행하지 못하도록 제어 권한을 좁혀야 하죠. 개발 단계부터 동작을 바로 멈추는 스위치를 넣는 것도 필요합니다. 해킹 공격을 막으려면 정기적으로 보안 점검이나 가상 공격 테스트를 반복해야 하는 것이죠. 그리고 정부는 제도적인 안전 장치로 기술을 관리해야 합니다. 고위험 AI를 지정해서 배포 전에 안정성을 검증하는 것을 의무화해야 되죠. 그리고 사고가 터졌을 때 책임 범위를 정하는 법체와도 서둘러야 할 것입니다.