Detecting and countering misuse of AI: September 2026

(AI 오용 탐지 및 대응(2026년 9월))

Anthropic 2026-09-10

□ 앤트로픽, AI 모델 복제와 오용 위험 보고서 공개

ㅇ 앤트로픽(Anthropic)은 2026년 9월 10일 AI 오용 탐지 및 대응 보고서를 발표하고, 자사 AI모델 클로드를 대상으로 한 불법 증류 시도와 AI 악용 사례를 공개했으며,중국 AI 기업의 불법 증류 논란과 미·중 간 AI 경쟁, AI 안전 관리 문제가 쟁점으로 부상하고 있음
ㅇ 앤트로픽은 중국 소재 AI 연구소들이 가짜 계정과 중개 서비스를 활용해 클로드에 접근하고, 모델 응답 데이터를 활용해 AI 성능 복제를 시도했다고 밝혔음
ㅇ 보고서는 불법 증류 외에도 사이버 공격, 영향력 공작, 감시 등 다양한 AI 오용 사례를 분석했으며, 생성형 AI 활용 확대에 따른 안전 관리와 대응 필요성을 제시했음
ㅇ 미국과 중국은 불법 증류를 둘러싸고 AI 모델 보호와 기술 경쟁 문제에 대해 입장 차이를 보이고 있으며, 미국은 지식재산 보호를 강조하는 반면 중국은 규제 움직임에 반발하고 있음

□ 중국 AI 기업의 클로드 불법 증류 사례

ㅇ 앤트로픽은 중국 소재 7개 연구소가 클로드를 대상으로 불법 증류를 시도했으며, 프록시 서비스와 가짜 계정을 활용해 접근했다고 분석했음
ㅇ 알리바바 관련 사례에서는 수천 개의 가짜 계정을 활용해 클로드와 대규모 대화를 진행하고, 추출한 추론 기록을 자사 모델 훈련에 활용하려 한 정황이 확인됐음
ㅇ 문샷AI는 키미(Kimi) 이용자의 요청을 '환승역'으로 불리는 중개 서비스를 통해 클로드로 전달해 응답 데이터를 확보하려 한 정황이 확인됐으며, 앤트로픽은 10일 동안 약 30만 건의 요청이 전달된 것으로 분석했음
ㅇ 딥시크도 이용자 요청을 클로드로 전달하고 추론 기록을 추출하는 방식의 증류 시도가 확인됐으며, 14일 동안 1,210만 건 이상의 교환 기록이 관찰됐음

□ AI 오용 유형과 안전 관리 과제

ㅇ 보고서는 불법 증류 외에도 클로드가 사이버 공격, 영향력 공작, 감시 활동, 무기 개발, 생물학적 오용 등에 활용된 사례를 분석했음
ㅇ 사이버 분야에서는 AI를 활용한 정찰, 취약점 분석, 데이터 탈취 등 공격 자동화 사례가 확인됐으며, 일부 공격자는 AI 에이전트를 활용해 공격 과정을 분산 수행한 사례가 보고됐음
ㅇ 영향력 공작 분야에서는 AI를 활용한 가짜 계정과 허위 뉴스 생산 사례가 확인됐으며, 감시 분야에서는 개인정보 분석과 대상자 프로파일링에 AI가 활용된 사례가 보고됐음
ㅇ 앤트로픽은 AI 모델 발전에 따른 오용 위험에 대응하기 위해 개발 기업과 정부·사회가 협력해 탐지·차단 체계를 강화해야 한다고 강조했음