목차

Abstract 1

Ⅰ. 서론 1

Ⅱ. 생성형 언어 모델 2

 1. 트랜스포머 소개 2

 2. 디코더 기반의 GPT-3 모델 5

Ⅲ. ChatGPT 7

 1. ChatGPT 소개 7

 2. ChatGPT 의의 9

Ⅳ. ChatGPT 이후 연구 동향 10

 1. 모델 사이즈의 증가 방향에 대한 변화 10

 2. 유사 ChatGPT 훈련 11

 3. 생성형 언어 모델 응용을 위한 엔지니어링 13

Ⅴ. 결론 14

참고문헌 15

표 1. Self-Instruct의 프롬프트 예 12

그림 1. 인코더/디코더 기반 생성 모델 3

그림 2. 트랜스포머의 인코더/디코더 기반 생성 모델 4

그림 3. 트랜스포머 기반 후속 연구 결과들의 계층도 5

그림 4. 언어 모델의 컴퓨팅 자원, 데이터셋 크기, 모델 크기와 성능의 멱법칙 6

그림 5. 학습된 언어 모델의 임의의 문제에 대한 유용성 7

그림 6. InstructGPT 학습 개념도 9