□ 미국 스탠퍼드대의 인간중심인공지능연구소(HAI)는 5월 21일(현지 시간) 주요 14개 AI 모델의 투명성 지수(FMTI)를 평가한 보고서를 발표함. 이 지수는 사회적으로 영향력 있는 AI 개발자들이 개발 과정 등을 더 많이 공개하도록 장려하기 위한 것으로, 매개변수와 훈련 방식, 데이터 공개 여부, 설명 가능성 등의 지표를 기준으로 100점 만점으로 평가함. 이번 보고서에는 오픈AI의 GPT-4, 구글의 1.0 울트라, 메타의 라마2, 앤스로픽의 클라우드3, 미스트랄 7B 등 최신 AI 모델이 포함됨
□ 평가 대상 14개 모델 중 허깅페이스-서비스나우의 스타코더가 85점으로 가장 높은 점수를 받음. 오픈AI의 GPT-4는 49점으로 11위이며, 구글의 1.0 울트라는 47점으로 12위로 평가됨
□ 이번 조사 대상 모델의 평균 점수는 58점으로 지난해 10월에 평가한 점수보다 21점 상승함. 연구팀은 “지수의 일부 영역은 지속해 불투명성을 보여준다”며 “앞으로 투명성의 진전이 책임성 강화, 혁신 증대, 정책 개선과 같은 더 나은 사회적 결과로 이어지기를 바란다”고 덧붙임
(출처: 연합뉴스)
□ 평가 대상 14개 모델 중 허깅페이스-서비스나우의 스타코더가 85점으로 가장 높은 점수를 받음. 오픈AI의 GPT-4는 49점으로 11위이며, 구글의 1.0 울트라는 47점으로 12위로 평가됨
□ 이번 조사 대상 모델의 평균 점수는 58점으로 지난해 10월에 평가한 점수보다 21점 상승함. 연구팀은 “지수의 일부 영역은 지속해 불투명성을 보여준다”며 “앞으로 투명성의 진전이 책임성 강화, 혁신 증대, 정책 개선과 같은 더 나은 사회적 결과로 이어지기를 바란다”고 덧붙임
(출처: 연합뉴스)
목차
1. Introduction 2
2. Background 3
2.1 The foundation model transparency index 3
2.2 Indices over time 3
3. Methods 4
3.1 Indicator selection 4
3.2 Developer selection 4
3.3 Information gathering 5
3.4 Scoring 5
3.5 Timeline 6
4. Results 6
4.1 Standalone results of FMTI v1.1 6
4.2 Comparative results between FMTI v1.1 and v1.0 9
4.3 New information in FMTI v1.1 12
5. Discussion 14
5.1 Interpretation of findings 14
5.2 Recommendations 14
5.2.1 Foundation model developers 14
5.2.2 Customers of foundation models 15
5.2.3 Transparency advocates 15
5.2.4 Policymakers 15
5.3 Next steps 16
6. Limitations 16
7. Conclusion 18
