Інтерактивна демонстрація Трансформера Encoder-Decoder

переклад «Мій котик дуже красивий» з української на англійську

Етапи, які можна дослідити:

1. На кроці «Токенізація» речення розбивається на токени з маркерами [BOS]/[EOS].
2. На кроці «Embedding» кожен токен стає вектором 512 вимірів + позиційне кодування (синусоїди).
3. «Енкодер» — натисніть на різні токени джерела й спостерігайте, як змінюється матриця self-attention. «Мій» найбільше дивиться сам на себе, але також на «котик» — адже присвійність прив'язана до іменника.
4. «Cross-attention» — найцікавіший крок: декодер (англійська сторона) «читає» енкодер. Натисніть на різні токени виходу і побачите, хто на кого дивиться: «cat» → «котик» (82%), «beautiful» → «красивий» (82%). Саме тут відбувається вирівнювання між мовами.
5. «Декодер» показує три підшари: masked self-attention (бачить лише попередні токени), cross-attention (читає енкодер), FFN (повнозв’язна мережа прямого поширення).
6. «Генерація» демонструє softmax розподіл — «My» отримує 94% при першому кроці.