SAKT는 attention을 이용한 KT 모델로 정오 예측에서 과거 문제 풀이 기록에 가중치를 주어 예측한다. SAKT는 아래 그림에서 $e_5$의 정오를 예측할 때, 연관된 knowledge concept을 가진 $e_2,e_4$에 높은 attention score를 준다.

---

Data

• interaction ${\mathbf{x}}_t=(e_t,r_t)$
• $e_t$: exercise tag
• $r_t$: answer correctness
  $\to$ predict $prob(r_{t+1}=1|e_{t+1},{\mathbf{x}}_{1:t})$

---

Model

1. interaction $y_t$는 아래와 같이 계산된다. (embedding index를 겹치지 않게 하는 용도)

$y_t=e_t+r_t\ast E$ (여기서 $E$는 전체 문제 수를 의미한다.)

2. splitting과 padding을 통해 지정된 시퀀스 길이 n으로 interaction 시퀀스의 길이를 맞춰준다.

$\mathbf{y}=(y_1,\cdots ,y_t)\to \mathbf{s}=(s_1,\cdots ,s_n)$

3. embedding 후 positional embedding을 더해서 input을 생성한다.

• interaction embedding $M\in {\mathbb{R}}^{2E\text{x}d}$
• exercise embedding $E\in {\mathbb{R}}^{E\text{x}d}$
• positional embedding $P\in {\mathbb{R}}^{N\text{x}d}$

$\hat{M}=\left[\begin{array}{c}{M}_{s_1}+P_1\\ M_{s_2}+P_2\\ \cdots \\ M_{s_n}+P_n\end{array}\right]$, $\hat{E}=\left[\begin{array}{c}{E}_{s_1}\\ E_{s_2}\\ \cdots \\ E_{s_n}\end{array}\right]$

4. Transformer의 encoder + masking을 통해 예측한다.

$\hat{E}$은 query로, $\hat{M}$은 key와 value로 사용된다. Transformer의 encoder에서는 masking이 사용되지 않았지만, 학생이 문제를 푼 순서와 정보를 반영하기 위해 SAKT에서는 masking을 사용한다.

---

A Self-Attentive model for Knowledge Tracing
Attention Is All You Need
Knowledge Tracing Collection with PyTorch