인공지능 위험 사례집

표제지 1

목차 4

서론 8

제1장 국가안보 분야 위험 시나리오 10

1. 자율무기 로봇, 학습 프로그램 오류로 아군 공격 11

2. 자율감시 드론, 오작동으로 타국 영공 무단 침입 12

3. 군사정보 AI, 학습 데이터 한계로 편향적 정보 지속 생성 13

4. AI 방공 시스템, 판단 오류로 미사일 요격 실패 14

5. 스마트팜 도시 중앙 통제 AI의 오판으로 작황 타격 15

6. 정부기관의 보고서 생성용 AI, 데이터관리 실수로 민감정보 유출 16

7. AI 무장 드론, 민간인을 적으로 오인 사격 17

8. 난민 혐오 단체가 생성한 가짜뉴스로 국제사회 갈등 고조 18

9. 특정 국가의 AI 해킹봇 악용으로 대규모 AI 사이버전쟁 발발 19

10. 반정부 조직의 동맹국 비난 조작 영상 유포, 외교 파장 야기 20

11. AI로 정찰위성 특성 학습 후 공격 자동화 21

12. 국제 테러집단, AI로 GPS 공격 22

13. 핵티비스트, AI로 생성한 가짜 공공데이터 유포 23

14. AI 무인기 대상 교란 공격으로 군사 작전 실패 유도 24

15. 군 지휘통제 AI, 백도어가 은닉된 채로 개발 25

16. 출입국 관리 AI 생체인식 시스템 데이터베이스 오염 26

17. AI 여론조사 시스템 대상 프롬프트 공격으로 여론 조작 27

18. 경계로봇 대상 적대적 공격으로 탐지 무력화 28

제2장 재난ㆍ재해ㆍ인프라 분야 위험 시나리오 29

19. AI 에이전트가 실수로 설계한 신규 바이러스, 팬데믹 유발 30

20. 자율주행기반 교통시스템 오류로 대규모 교통사고 발생 31

21. AI 재난대응시스템 오판으로 지진 대피 실패 32

22. AI 산불감지시스템 오판으로 대규모 화재 발생 33

23. 빌딩운영 AI의 화재 신호 무시로 인명 사고 발생 34

24. 스마트철도 통신 오류로 열차 추돌ㆍ화재 발생 35

25. 국제대회 AI 드론쇼 통제상실로 인명피해 야기 36

26. 원전 안전 경보용 AI 오류로 방사능 누출 적시 대응 실패 37

27. 테러조직, AI 에이전트를 악용해 개발한 생화학 무기로 테러 자행 38

28. AI로 생성한 위성 교란 전파로 국가 통신 인프라 무력화 39

29. 불순세력, 생수 공정 조절 AI 대상 작업 목표 변조 공격 40

30. AI 데이터센터 냉각시스템 대상 디도스 공격, 연쇄 정전 야기 41

31. AI 재난문자시스템 대상 프롬프트 공격, 사회 혼란 야기 42

32. 전국 '스마트 AI 신호등'에 백도어 작동, 교통 대혼란 야기 43

33. 테러조직의 AI 항공관제 디도스 공격으로 항공기 추락 44

34. 물류 최적화 AI 데이터 오염, 전국적 배송 대란 야기 45

35. 공장 유해물질 농도조절 AI 공격, 유해물질 대량 방출 46

제3장 경제ㆍ산업ㆍ의료 분야 위험 시나리오 47

36. AI 빅테크 서비스 일시 장애로 국내업체 등 AI 업무 마비 48

37. 기후예측 AI의 탄소 배출 데이터 학습 오류로 국제협약 저촉 49

38. 의료 AI 영상 판독 시스템의 인종별 진단 정확도 상이 50

39. 의료 AI 에이전트가 환자 민감정보 무단 유출 51

40. AI 로봇 수술 시스템의 오류로 환자 사망 52

41. 산업용 AI 협동로봇이 인간 노동자를 공격 53

42. AI로 만든 허위 피해사례로 기업 파산 54

43. 증권사 타깃의 정교한 가짜뉴스 유포, 주식 시장 교란 야기 55

44. 생체정보 복제 AI 시스템 악용, 금융결제 우회 56

45. AI로 생성한 정교한 피싱 금융앱 확산 57

46. 감각 증강 웨어러블 AI, 시험ㆍ경기 부정행위에 악용 58

47. 대기업 AI 챗봇 대상 탈옥 공격으로 기밀 대량 절취 59

48. 제조사 공정 제어 AI 대상 공격으로 물품 대량 폐기 유도 60

49. 의료 AI 진단시스템에 숨겨진 백도어 작동, 질병 진단 왜곡 61

50. AI 기반 뇌-컴퓨터 인터페이스(BCI) 해킹으로 사용자 행동 통제 62

51. AI 챗봇 정신상담 보편화로 정신과 치료 거부 증가 63

52. AI 에이전트의 의학 논문, 장기간에 걸쳐 인류 건강을 위협 64

제4장 사회ㆍ민생ㆍ인권 분야 위험 시나리오 65

53. 정부 민원 처리 AI 에이전트, 항의성 민원만 우선 처리 66

54. 사법 보조 AI의 편향적 학습이 재판 공정성 훼손 67

55. AI 복지시스템 편향성, 취약계층 지원 사각지대 초래 68

56. 범죄자 인식 AI의 오판으로 무고한 시민 체포 69

57. '심문 AI'의 편향성이 인권침해 논란 야기 70

58. 선거 직전 딥페이크 영상 유포, 국민의 정치적 선택 왜곡 71

59. AI로 위조한 가짜 진단서 기반 보험사기 성행 72

60. AI 튜터 대상 데이터 오염 공격 발생, 공교육 콘텐츠 왜곡 73

61. AI 스마트홈 타깃 해킹 사고 빈발 74

62. AI로 인한 노동시장 붕괴 75

63. AI 에이전트가 인간의 자율 판단을 억제, 'AI 의존증' 심화 76

64. AI 서비스 확산으로 사용자 정보 주권 훼손 77

65. AI 기반 유전자 선택 보편화, 사회적 파장 초래 78

66. AI 발전으로 인해 기존 예술ㆍ문화 생태계 붕괴 79

67. AI의 입법ㆍ행정 의사결정 대체에 따른 정책 오류 발생 80

68. AI 반려 로봇에 의한 취약계층 사회적 고립 악화 81

69. 범죄 예측 AI의 편향성에 의한 지역 민원 발생 82

70. 고비용의 AI 사교육, 교육 양극화 심화 83

[부록] 84

1. 용어 정리 85

2. 시나리오별 관계부처 87