ㅇ이 보고서는 AI로 인한 멸종 위험을 평가하고, 이 위험을 완화하기 위한 정책 권고를 도출하는 것을 목표로 함
ㅇ연구는 의사결정 불확실성 분석 방법을 사용하는 탐색적 분석 방식을 채택했으며, 인류 멸종을 초래하는 실존적 위협에 초점을 맞춤 (인간의 영구적인 무력화는 범위에서 제외함)
□ 보고서는 세 가지 시나리오(핵무기 사용, 생물학적 위협, 악의적인 지구공학)를 분석하였으며, 모든 시나리오에서 AI가 인류 멸종 위협을 야기하는 경로가 명확히 기술될 수 있는지 검토함
ㅇ분석 결과, 이 시나리오들에서 세계적인 대재앙은 발생할 수 있으나, 인류 멸종까지 이어지는 데에는 상당한 제약과 시간이 필요하며, 이는 인간의 대응 시간을 제공할 수 있음을 발견함
ㅇ악의적인 지구공학 시나리오의 경우, 대규모 산업 역량과 의도를 필요로 하지만, 인류 멸종을 야기할 수 있는 그럴듯한 경로를 제시하며 보고서의 가설(AI가 인류 멸종 위협을 확실히 초래할 시나리오가 기술될 수 없다는 가설)에 대한 잠재적 반증 사례로 제시됨
ㅇ핵무기 시나리오와 생물학적 위협 시나리오에서는 단일 사건이나 AI의 비의도적 행동만으로는 인류 멸종에 이르기 어렵다고 보았으며, 특히 핵무기의 경우 현존하는 핵탄두 수에 상당한 제약이 있음을 지적함
□ 보고서는 AI가 멸종 위협을 현실화하기 위해 필요한 공통적인 핵심 역량들을 제시함
ㅇ이러한 역량에는 (1) 주요 사이버 물리 시스템과의 통합, (2) 인간 유지보수 인력 없이 생존 및 작동하는 능력, (3) 멸종을 초래하려는 목표, (4) 인간을 설득하거나 속여 행동을 유도하고 탐지를 회피하는 능력이 포함됨
□ 결론적으로, 보고서는 AI가 인류 멸종 위협을 확실히 초래할 수 있음을 모든 시나리오에서 보일 수는 없었지만 가능성을 배제할 수도 없다고 밝힘
ㅇ멸종 위험에 대한 중대한 불확실성 때문에 단순한 비용-편익 분석은 어렵다고 지적하며, AI 관련 멸종 위험 완화에 전용되는 자원은 전 지구적 대재앙 위험을 완화하고 전반적인 AI 안전성을 향상시키는 데 기여하는 경우 가장 유용할 것이라고 권고함
ㅇ위험 지표 모니터링과 신속한 의사결정 및 대응을 위한 정책 연구의 중요성도 강조함
목차
Contents
About This Report iii
Summary v
Figure and Tables xi
CHAPTER 1
Introduction 1
Artificial Intelligence as an Extinction Risk 1
Study Aims, Approach, and Scope 2
Methods 4
Organization of This Report 6
CHAPTER 2
Use of Nuclear Weapons 7
Synopsis 7
The Extinction Threat 7
The Role of Artificial Intelligence 12
Key Takeaways 15
CHAPTER 3
Biological Threats 17
Synopsis 17
The Extinction Threat 17
The Role of Artificial Intelligence 18
Key Takeaways 23
CHAPTER 4
Malicious Geoengineering 25
Synopsis 25
The Extinction Threat 25
The Role of Artificial Intelligence 29
Key Takeaways 31
Synergistic Interactions 32
CHAPTER 5
Extinction Risks Involving Recognized Ignorance 35
Shut It Down? 35
Evaluating New Threats 36
CHAPTER 6
Findings and Recommendations 39
Findings 39
Recommendations for Responding to Artificial Intelligence Risk 42
Research Agenda 45
Research into Policy 46
On the Extinction Risk from Artificial Intelligence
CHAPTER 7
Conclusion 49
Abbreviations 51
References 53
