박준영(Jason Juneyoung Park) 님은 Riiid의 AI Research Lead 로 KT(정오답예측), SP(점수예측), RS(문제추천) 등 AIEd 연구를 리드하고 있습니다.
뤼이드 AI Research squad는 교육 AI 고도화를 위해 Knowledge tracing(KT), Score prediction(SP), Recommender systems(RS)의 최적화를 핵심 태스크로 연구를 진행하고 있습니다. 상대적으로 의료, 금융 등 타 영역 대비 AI 연구가 활성화되지 못한 교육 분야에 앞으로 더 많은 연구자들이 관심을 갖고 연구를 시작할 수 있도록 뤼이드에서는 테크 블로그를 통해 교육 AI에 대한 정보를 공유할 계획입니다.
오늘은 그중 교육 AI 연구의 기본이자 시작이라고 할 수 있는 Knowledge Tracing에 대해 먼저 소개하도록 하겠습니다.
‘Knowledge Tracing’이란?
Knowledge Tracing(지식 추적, 이하 KT)이란 특정 학생의 지난 교육 기록을 활용해 아직 풀지 않은(Unseen) 문제에 대한 정오답을 예측하는 Task입니다. 예를 들어 산타토익과 같은 문제 풀이 앱을 활용할때 기존 사용자가 푼 문제 1~6를 학습해 사용자의 학습 수준을 유추하고 이를 활용하여 문제 7,8,9,10 의 정오답을 예측하는 것입니다.
94년에 발표된 Bayesian Knowledge Tracing(BKT)이 AI 세대 이전에 가장 대표적인 방법론이었으며 Hidden Markov Model을 활용하여 특정 개념에 대한 정오답 확률을 계산하는 방법이었습니다. BKT에 대한 내용은 추후에 리뷰를 해보도록 하겠습니다. 자세한 내용이 궁금하신 분들인“Knowledge tracing: Modeling the acquisition of procedural knowledge” 논문을 읽어보시면 되겠습니다.
BKT 는 대표적으로 ‘개념 이해’(Knowledge Component / Skill )에 대한 사용자의 수준을 추정하고 같은 개념에 대한 정오답 확률을 예측합니다.
Deep learning의 적용
Deep learning은 과거의 기록으로 미래의 행동을 예측하는 기계학습(Machine Learning)이 탁월한 성능을 보이는 대표적인 구조입니다. 이런 트렌드에 맞춰 KT에서도 딥러닝을 활용하고자 하는 움직임이 있었으며 적용 사례중 가장 유명한 모델이 Deep Knowledge Tracing(DKT) 입니다. 스탠포드, 구글, 칸 아카데미(link)에서 공동연구를 하였으며 Synthetic Data, Khan Academy 그리고 교육 오픈 데이터인 Assistments를 활용하여 이미 검증된 모델입니다. 특징으로는 사용자를 분석하고 static한 feature들을 뽑아내는것이 아닌 문제 풀이 기록을 순차 데이터로 활용하여 자연어처리에서도 자주 활용되는 RNN 기법을 적용한 것입니다.
Input의 형태
KT 를 수행하기 위해서 DKT는 교육 기록을 순차 데이터(Sequential Data)의 형태로 활용합니다. 각 sequence의 input으로 M개의 문제에 대하여 t시점에 ht라는 튜플의 형태를 취하게 됩니다. 사용자가 푼 문제 qt의 정오답 at를 조합한 형태가 됩니다.
결과적으로 나오는 인풋 데이터 x는 모든 문제 M의 정답과 오답에 대한 one-hot encoding으로 표현됩니다.
논문 상에서는 one-hot encoding으로 생길 수 있는 문제(M의 규모가 너무 커지는 경우)를 해결하기 위해 N dimension의 random vector를 구축하는 방법 또한 제시하고 있습니다만 최근에는 임베딩을 구축하는 방법이 훨씬 많아져서 큰 의미는 없습니다.
모델의 형태(RNN/LSTM)
근본적으로 DKT는 RNN의 형태를 띄고 있습니다. 논문상에서는 가장 기본적인 RNN의 형태만을 설명하고 있으나 실제 실험에서는 LSTM을 활용하였고 결과 역시 LSTM으로 보고하고 있습니다. RNN과 LSTM은 많은 분들이 알고 계시기 때문에 설명은 생략하고 구조만 다시 한번 살펴보도록 하겠습니다.
위의 RNN을 통해서 t시점에 사용자의 학습 수준이 학습되고, 이를 활용하여 아직 사용자가 보지 못한(unseen) 문제들에 대한 정오답 확률을 예측하게 됩니다.
결과값 / 데이터셋
실험은 Item-Response Theory를 통해 만들어진 재현 데이터(Synthetic data), Khan Academy의 사용자 문제 풀이 데이터, 교육 오픈 데이터인 Assistments 2009 총 세개의 데이터를 활용해 진행됐습니다. 각 데이터에 대한 간단한 통계치를 아래의 표에서 확인하실 수 있습니다. 모델 비교군으로는 단순 확률 계산을 통한 정확도, BKT, BKT관련 문헌에서 보고된 최고 성능의 BKT* 그리고 DKT로 구성이 됐습니다.
또 DKT의 저자들은 모델에서 추측되는 정오답 예측 확률을 활용하여 문제간의 관계를 구축할 수 있다고 주장합니다. 두가지 방법에 대한 결과를 Appendix에서 그래프의 형태로 제시하고 있습니다.
1. 문제 A를 푼 이후 문제 B를 풀 확률을 문제 2개간의 관계(Edge)로 표현한 그래프
2. 아래의 공식을 활용하며 1의 확률을 전체 문제에 적용하여 표현한 그래프
그러나 두 그래프 모두 인간이 구축한 구조(아래)보다는 디테일하지 않다는 점을 확인하실 수 있습니다.
결론
DKT는 교육용 기술(Educational Technology)을 연구하는 많은 분들에게 딥러닝의 효과를 보여주며 KT 연구의 새로운 장을 제시해줬습니다. 기존의 개념 이해를 활용한 KT 모델에서 더 나아가 사용자의 활동 기록을 활용하는 방향으로 KT의 연구 방향을 틀게 되는 기준이 되었다고 볼 수 있습니다. 물론 들어가는 Feature의 종류가 많지 않고(문제들에 대한 정오답), one-hot encoding의 형태를 띄는 input은 한계로 지적되고 있지만 이를 개선할 수 있는 방법이 많이 연구되고 있습니다. KT 연구는 현재 RNN이 아닌 다른 방향으로도 많이 진행되어있으니 앞으로 다양한 논문들을 리뷰해보도록 하겠습니다.
Reference
