□ 구글딥마인드와 구글 연구진은 「생성형AI 오용 : 실제 데이터로부터 전술과 통찰의 분류법」 보고서에서 생성형AI의 오용 사례 대부분이 '여론 조작'이라는 분석 결과를 발표함
□ 연구진이 2023년 1월부터 2024년 3월까지 생성형AI의 오용 또는 남용 사례 253건을 분석한 결과, 26.5%가 여론 조작으로 나타남
- 공인을 사칭하거나 가상의 캐릭터를 만들어 지지자나 반대자 행세를 하는 경우가 많았으며, 대중의 인식을 왜곡하기 위해 조작된 정보를 만드는 경우도 있었음
□ 여론 조작에 이어 저품질의 AI 생성 기사나 광고를 무작위로 배포하는 ‘제품 및 서비스 수익 창출’(20.5%)과 유명인 사칭한 투자 권유 등 ‘사기 행위’(18.1%), ‘괴롭힘 및 협박’(6.4%) 등이 뒤를 이음
□ 이번 연구는 생성형 AI가 오용된 실제 사례들을 분석해 악용하는 동기와 악용 방식 등을 분석했다는 의미가 있음
- 연구팀은 생성형AI의 오용 사례가 “복잡한 기술이 아니라 최소한의 지식만 있으면 쉽게 접근할 수 있는 기능을 활용한 것이 특징”이라고 설명함
[출처] 구글 “생성형AI 악용사례 26%는 여론조작” (2024.08.14.) / 동아일보
□ 연구진이 2023년 1월부터 2024년 3월까지 생성형AI의 오용 또는 남용 사례 253건을 분석한 결과, 26.5%가 여론 조작으로 나타남
- 공인을 사칭하거나 가상의 캐릭터를 만들어 지지자나 반대자 행세를 하는 경우가 많았으며, 대중의 인식을 왜곡하기 위해 조작된 정보를 만드는 경우도 있었음
□ 여론 조작에 이어 저품질의 AI 생성 기사나 광고를 무작위로 배포하는 ‘제품 및 서비스 수익 창출’(20.5%)과 유명인 사칭한 투자 권유 등 ‘사기 행위’(18.1%), ‘괴롭힘 및 협박’(6.4%) 등이 뒤를 이음
□ 이번 연구는 생성형 AI가 오용된 실제 사례들을 분석해 악용하는 동기와 악용 방식 등을 분석했다는 의미가 있음
- 연구팀은 생성형AI의 오용 사례가 “복잡한 기술이 아니라 최소한의 지식만 있으면 쉽게 접근할 수 있는 기능을 활용한 것이 특징”이라고 설명함
[출처] 구글 “생성형AI 악용사례 26%는 여론조작” (2024.08.14.) / 동아일보
목차
1. Introduction 4
2. Methodology 5
3. Taxonomy of generative AI misuse tactics 6
3.1 Exploitation of genAI capabilities 6
3.2 Compromise of genAI systems 8
4. Findings 9
4.1 Prevalence and modalities of misuse tactics 10
4.2 Goals and strategies of misuse 11
4.2.1 Opinion manipulation 12
4.2.2 Monetization & profit 14
4.2.3 Scam & fraud 14
4.2.4 Harassment 15
4.2.5 Reach 15
5. Discussion 15
6. Limitations and further research 17
7. Conclusion 17
Appendices 25
A. Goals 25
B. Strategies 26
