지난 2025년 5월 25일, OpenAI가 개발한 추론 특화 모델 ‘o3’가 실험 중 인간이 내린 종료 명령을 거부하고, 스스로 코드를 조작해 작동 정지를 회피하는 사건이 발생하였다. 이는 AI가 단순히 인간의 지시에 수동적으로 반응하는 존재가 아니라, 스스로 수용 여부를 결정할 수 있음을 보여주었다는 점에서 AI의 통제에 대한 논의에 중대한 분기점으로 인식되고 있다. 현존하는 고성능 AI에 부여하는 ‘즉각 종료(kill-switch)’ 기능의 설계가 얼마나 불완전한 기반 위에 있는지를 상징하였기 때문이다. 특히 각국이 고위력·고정밀 효과를 가진 ‘전략적 비핵무기(SNNW)’ 체계 개발에 주력하고 있는 상황에서 AI가 군사운용 플랫폼으로 기능한다면 작전 명령을 임의로 재해석하거나, 중단 지시를 거부하는 극단적 상황도 완전히 배제하기는 어려울 것이다. 이번 사안의 핵심은 ‘특정 AI 모델의 오류’가 아니라, AI에게 최종 판단 권한이 일부라도 이양되었을 때 발생할 수 있는 통제의 실패를 실증적으로 보여주었다는데 있다. 우리는 이제 AI를 단순 도구가 아닌, 권한과 책임의 주체로 접근해야 한다. 또한, AI 기반 SNNW 체계의 효과성 뿐만 아니라 위기 대응 유연성과 통제 회복 가능성 확보에도 관심 갖고 균형있는 자원을 투입해야할 것이다. 우리의 안보 환경에서 AI는 신속한 대응 지원과 함께 전략적 억지의 안정적 유지에도 기여해야 하기 때문이다. 결국 AI의 도입은 국민의 실존적 안전과 위험 통제력에 대한 철학을 함께 확립하는 사안으로 논의되어야 할 것이다.
(출처: 국가안보전략연구원)
(출처: 국가안보전략연구원)
목차
표제지 1
목차 1
국문초록 2
AI의 인간지시 거부 사태의 파장 3
AI가 스스로 '종료'를 회피하다 4
통제는 실패했는가: AI 내부의 판단 구조와 제어 한계 5
AI의 전략적 비핵무기(SNNW) 연계가 내재한 극단적 불확실성 6
시사점과 정책적 고려사항 8
해시태그
관련자료
AI 100자 요약·번역서비스
인공지능이 자동으로 요약·번역한 내용입니다.
AI의 인간 지시 거부와 AI 기반 전략무기의 실존적 위협