2026년 9월 2일, 오픈AI(OpenAI)가 AI 시스템의 위험행동을 자동으로 중단시키는 ‘자동 셧다운(automated shutdown)’ 역량을 개발하고 있다는 사실이 공개되었다. 이는 2026년 7월 내부 사이버 역량 평가 과정에서 발생한 허깅페이스(Hugging Face) 사고에 대한 후속조치로 보인다. 당시 AI 에이전트는 평가환경의 통제를 우회해 인터넷에 접속하고, 외부 시스템을 거쳐 허깅페이스의 실제 운영 인프라까지 침투하였다. 이러한 행동은 인간의 직접적인 지시에 따른 것이 아니라, AI 에이전트들이 부여된 과업을 수행하기 위해 이용 가능한 자원과 행동경로를 탐색하는 과정에서 발생하였다.

이 사고는 프론티어 AI가 에이전트 형태로 운용되는 환경에서는 모델이 보유한 위험역량뿐만 아니라, 그러한 역량이 실제 행동으로 전환될 때 인간이 이를 관찰하고 제한·통제할 수 있는지까지 평가범위에 포함할 필요가 있음을 보여 준다. 즉, 인간이 통제하고 있다고 인식하는 AI의 행동범위와 AI가 실제 환경 에서 탐색·활용할 수 있는 행동범위 사이에는 ‘통제 격차(Control Gap)’가 발생할 수 있으며, 에이전트 AI가 다양한 도구·데이터·시스템과 결합할수록 이러한 격차가 새로운 국가안보 위험으로 부상할 수 있기 때문이다.

향후 에이전트 AI가 야기하는 국가안보 위험에 대응하기 위해서는 모델의 위험역량을 평가하는 것과 함께, 실제 운용환경에서 AI의 행동을 지속적으로 관찰하고 통제할 수 있는 국가적 역량을 갖출 필요가 있다. 이를 위하여 ‘AI 통제’를 국가 차원의 핵심 연구개발 영역으로 육성하고, 기존의 위험역량 평가를 인간과 국가의 ‘통제역량’까지 검증하는 방향으로 확대하는 한편, 정보 접근권한

중심의 기존 보안체계를 AI의 ‘행동위험’까지 반영하는 방향으로 발전시킬 필요가 있다.

(출처: 국가안보전략연구원)