목차
표제지
목차
Ⅰ. 서론 9
1. 연구의 필요성 및 목적 9
2. 연구 내용 및 연구 방법 10
2.1. 연구 내용 10
2.2. 분석 자료 11
2.3. 연구 방법 12
Ⅱ. 수행형 검사 및 분석 방법 배경 연구 17
1. 수행형 검사 및 학습 분석 관련 연구 17
1.1. 국제 컴퓨터ㆍ정보 소양 연구(International Computer and Information Literacy Study, ICILS) 17
1.2. 전자적 평가 플랫폼(Electronic Assessment Platform) 18
1.3. 온라인 학습 플랫폼 기반 데이터 마이닝 19
2. 로그 데이터 분석을 위한 주요 알고리즘 20
2.1. 로지스틱 회귀(Logistic Regression) 20
2.2. 의사결정나무(decision tree) 21
2.3. 랜덤 포레스트(Random forests) 21
2.4. XGBoost(eXtreme Gradient Boosting) 23
2.5. CATBoost(CATegorical Boosting) 24
2.6. eXplainable AI(XAI) 26
Ⅲ. 디지털 리터러시 검사 문항 및 시스템 로그 데이터 28
1. 로그 데이터 유형 및 빈도 28
1.1. 초등학교 문항 및 로그 데이터 29
1.2. 중학교 문항 및 로그 데이터 34
2. 문항 유형별 로그 데이터 특성 분석 41
2.1. 선다형 문항 41
2.2. 기능형 문항 42
2.3. 저작형 문항 43
2.4. 알고리즘형 문항 45
Ⅳ. 알고리즘형 문항 로그 데이터 심층 분석 47
1. 알고리즘형 문항 로그 데이터 형식 이해 47
2. 로그 데이터 심층 분석 결과 49
2.1. 초등 모듈 2-5번 문항 49
2.2. 중등 모듈 4-4번 문항 56
Ⅴ/Ⅳ. 결론 및 시사점 62
1. 주요 시사점 62
2. 로그 데이터 개선 방안 및 향후 연구 제언 63
참고문헌 65
판권기 68
〈표 Ⅰ-1〉 디지털 리터러시 문항 및 로그 데이터 일반 특성 유형 설명 10
〈표 Ⅰ-2〉 성능 평가지표 16
〈표 Ⅲ-1〉 초등 모듈 1의 문항별 현황 29
〈표 Ⅲ-2〉 초등 모듈 2의 문항별 현황 30
〈표 Ⅲ-3〉 초등 모듈 3의 문항별 현황 31
〈표 Ⅲ-4〉 초등 모듈 4의 문항별 현황 33
〈표 Ⅲ-5〉 중등 모듈 1의 문항별 현황 35
〈표 Ⅲ-6〉 중등 모듈 2의 문항별 현황 36
〈표 Ⅲ-7〉 중등 모듈 3의 문항별 현황 38
〈표 Ⅲ-8〉 중등 모듈 4의 문항별 현황 39
〈표 Ⅳ-1〉 초등 모듈 2-5번 문항의 추출된 변인 49
〈표 Ⅳ-2〉 초등 모듈 2-5번 문항의 예측 모델 성능 55
〈표 Ⅳ-3〉 중등 모듈 4-4번 문항의 추출된 변인 57
〈표 Ⅳ-4〉 중등 모듈 4-4번 문항의 예측 모델 성능 61
[그림 Ⅰ-1] 알고리즘형 문항(초등 모듈 2-5)의 시계열로 변환된 데이터 형식 14
[그림 Ⅰ-2] 혼동행렬(confusion matrix) 16
[그림 Ⅱ-1] ExamSoft 예시 화면 18
[그림 Ⅱ-2] 로지스틱 함수 그래프 20
[그림 Ⅱ-3] 랜덤 포레스트 동작 과정(Khan., et al, 2021) 22
[그림 Ⅱ-4] XGBoost 동작 과정(Ali., et al, 2020) 24
[그림 Ⅱ-5] 모델 M 업데이트 과정(Prokhorenkova, 2018) 25
[그림 Ⅱ-6] XAI 방법론 적용 여부에 따른 설명 가능성 차이(DARPA, 2017) 26
[그림 Ⅱ-7] SHAP을 이용한 이미지 분류의 중요 기준 제시 27
[그림 Ⅲ-1] 초등학생 인적사항에 관한 로그 예시 28
[그림 Ⅲ-2] 문항 풀이 과정을 기록한 로그 예시 28
[그림 Ⅲ-3] 선다형 문항 예시 41
[그림 Ⅲ-4] 선다형 응답 로그 42
[그림 Ⅲ-5] 선다형 문항별 응답 개수 로그 42
[그림 Ⅲ-6] 기능형 문항 예시 42
[그림 Ⅲ-7] 기능형 문항 상세 로그 43
[그림 Ⅲ-8] 저작형 문항 예시 44
[그림 Ⅲ-9] 저작형 문항 로그 44
[그림 Ⅲ-10] 저작형 문항 상세 로그 44
[그림 Ⅲ-11] 알고리즘형 문항1(블록 프로그래밍 활용 유형) 45
[그림 Ⅲ-12] 알고리즘형 문항2(순차적 문제 해결 유형) 45
[그림 Ⅲ-13] 블록 프로그래밍 문항 로그 46
[그림 Ⅲ-14] 블록 프로그래밍 문항 상세 로그 46
[그림 Ⅲ-15] 순차형 문항 응답 로그 46
[그림 Ⅲ-16] 순차형 문항 상세 로그 46
[그림 Ⅳ-1] 초등 모듈 2-5번 문항의 메뉴 선택 이벤트 47
[그림 Ⅳ-2] 초등 모듈 2-5번 문항의 블록 옮기기 이벤트 48
[그림 Ⅳ-3] 초등 모듈 2-5번 문항의 로그 데이터 48
[그림 Ⅳ-4] 초등 모듈 2-5번 문항의 정답 49
[그림 Ⅳ-5] 초등 모듈 2-5번 문항의 메뉴별 클릭 횟수 51
[그림 Ⅳ-6] 초등 모듈 2-5번 문항의 블록 옮기기 횟수 51
[그림 Ⅳ-7] 초등 모듈 2-5번 문항의 전체 이벤트 횟수와 문제 풀이 시간 분포 52
[그림 Ⅳ-8] 초등 모듈 2-5번 문항의 정답 여부와 주요 변인 간의 관계 52
[그림 Ⅳ-9] 초등 모듈 2-5번 문항의 변인 사이의 상관관계 53
[그림 Ⅳ-10] 초등 모듈 2-5번 문항의 반복문 사용에 따른 정답 여부 54
[그림 Ⅳ-11] 초등 모듈 2-5번 문항 변인 중요도 56
[그림 Ⅳ-12] 중등 모듈 4-4번 문항 정답 56
[그림 Ⅳ-13] 중등 모듈 4-4번 문항의 메뉴별 클릭 횟수 58
[그림 Ⅳ-14] 중등 모듈 4-4번 문항의 블록 옮기기 횟수 58
[그림 Ⅳ-15] 중등 모듈 4-4번 문항의 전체 이벤트 횟수와 문제 풀이 시간 분포 59
[그림 Ⅳ-16] 중등 모듈 4-4번 문항의 정답 여부와 주요 변인간의 관계 59
[그림 Ⅳ-17] 중등 모듈 4-4번 문항의 변인 사이의 상관관계 60
[그림 Ⅳ-18] 중등 모듈 4-4번 변인 중요도 61
