Sequence to sequence. Модели и механизм внимания

План лекции
Задачи Sequence to Sequence
Архитектура энкодер-декодер
Механизм внимания
Tips & Tricks
Разбор примера Machine Translation

RNN Recap

RNN Recap
len(input) != len(output)

Задачи Sequence to Sequence
Распознавание речи (spectrum -> text)
Синтез речи (text -> waveform)
Рукописный ввод (image sequence -> text)
Машинный перевод (text -> text)
Чатботы (text -> text)
Суммаризация (text -> text)

Speech recognition

Speech Synthesis

Рукописный ввод

Задача перевода
Rosetta Stone --->
Параллельный корпус, найден в 1799 г.
Позволил расшифровать
египетские иероглифы

Чатботы

RNN Sequence-to-sequence model
Google, Sutskever et al. 2014
Encoder
Decoder
https://arxiv.org/pdf/1409.3215.pdf

RNN Sequence-to-sequence model
Cho et al. 2014
Encoder (same)
Decoder
https://www.aclweb.org/anthology/D14-1179

RNN Sequence-to-sequence model
Улучшения:
Deep Encoder
Deep Decoder
LSTM Layer 1
LSTM Layer 2
LSTM Layer 3

RNN Sequence-to-sequence model
Улучшения:
Bidirectional Encoder
Forward LSTM
Backward LSTM

RNN Sequence-to-sequence model
Проблемы:
Размер стейта фиксирован
Изменения из начала последовательности затираются
Не все входные токены одинаково значимы
Просто взять стейты со всех шагов декодера - слишком много данных

RNN Sequence-to-sequence model
Решение:
Внимание

Механизм внимания, мотивация
Xu et al. 2015
Show, Attend and Tell:
Neural Image Caption Generation
with Visual Attention.
https://arxiv.org/abs/1502.03044

Soft vs Hard Attention
Hard
Выбор одной/n областей
Получаем сэмплингом из softmax
Не дифференцируем
Нужно учить с помощью RL
А значит тяжело учится
Soft
Взвешенная сумма областей
Дифференцируемый
А значит обучаем через backprop

Механизм внимания, мотивация
В случае машинного перевода

Механизм внимания, alignment

Механизм внимания, мотивация
https://github.com/google/seq2seq

Механизм внимания
https://arxiv.org/pdf/1409.0473.pdf

Механизм внимания
Bahdanau et al. 2014
https://arxiv.org/pdf/1409.0473.pdf

Механизм внимания
Bahdanau et al. 2014
Карта внимания или alignment слов
https://arxiv.org/pdf/1409.0473.pdf

Механизм внимания
Bahdanau et al. 2014
https://arxiv.org/pdf/1409.0473.pdf

Attention function
Dot Product
General
Additive

Практические нюансы
Wordpiece models and character-based models
Pretrained embeddings
Multihead Attention
Teacher Forcing
Beam Search

Проблемы словаря
большой размер эмбеддингов и софтмакс слоя (сотни тысяч)
неизвестные слова при инференсе, приходится заменять на UNKNOWN токен
Решение
Давайте разбивать предложения на характерные части, которые меньше чем слово, но больше чем буква.
Идея пришла из сегментации корейских и японских предложений, где нет явной границы между словами.
Wordpiece models

Pretrained embeddings

Wordpiece models, BPE - byte-pair encoding

Multihead Attention

Teacher Forcing
Подаем на вход декодера не прошлый выход,
а верный символ из таргета

Beam Search

Beyond attention
Attention позволяет построить текущее состояние с учетом всего прошлого последовательности.
Одинаково хорошо учитывает данные как из далекого прошлого, так и близкого.
Как правило не содержит информации об относительном расположении определенных данных в последовательности, но это решаемо.
Зачем тогда RNN, которая обновляет стейт последовательно и потому хуже учитывает далекое прошлое?

Transformer
Attention is all you need, Vaswani et al. 2017
https://arxiv.org/abs/1706.03762
Self-attention instead of recurrence

Positional encoding
Sinusoidal encoding
2. Learned positional embeddings. Position index -> embedding layer -> vector