1 · Вхід і ембединги
2 · Q, K, V проекції
3 · Скор QKᵀ
4 · Softmax → ваги
5 · Зважена сума V
6 · FFN + LayerNorm
Натисніть на токен, щоб побачити його увагу до інших
Оберіть крок і натисніть токен, щоб дослідити механізм self-attention.