Архитектура seq2seq

Материал из MachineLearning.

Версия от 15:13, 7 июля 2026; Daniil Nedugov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Sequence-to-Sequence (сокращённо Seq2Seq) — класс архитектур искусственных нейронных сетей, предназначенных для преобразования одной последовательности данных в другую. Ключевой особенностью Seq2Seq является отсутствие требования к равенству длин входной и выходной последовательностей, что делает её универсальным инструментом для решения задач, где требуется генерация структурированного вывода на основе неструктурированного или структурированного входа. Архитектура нашла широкое применение в машинном переводе, автоматическом реферировании текстов, распознавании речи, диалоговых системах и других областях обработки естественного языка.

Содержание

1 История
2 Архитектура
- 2.1 Кодировщик
- 2.2 Декодировщик
3 Механизм внимания
4 Обучение
- 4.1 Функция потерь
- 4.2 Стратегии инференса
5 Применения
6 Связь с когнитивными науками
7 См. также
8 Примечания
9 Литература

История

Первые значимые работы в области нейросетевого преобразования последовательностей относятся к началу 2010-х годов. В 2014 году была предложена архитектура, в которой и кодировщик, и декодировщик были реализованы на основе рекуррентных нейронных сетей (RNN), в частности, сетей долгой краткосрочной памяти (LSTM)^[1]. Эта работа стала фундаментальной и определила базовую архитектуру, которая впоследствии подвергалась многочисленным улучшениям.

Ключевым ограничением ранних моделей Seq2Seq была проблема «бутылочного горлышка» — необходимость сжимать всю информацию о входной последовательности в вектор фиксированной размерности. Решением этой проблемы стало введение в 2015 году механизма внимания (attention mechanism)^[1], который позволял декодировщику динамически выбирать наиболее релевантные части входной последовательности на каждом шаге генерации.

Революционным этапом в развитии Seq2Seq стало появление архитектуры Трансформер в 2017 году^[1]. Трансформер полностью отказался от рекуррентных связей, построив кодировщик и декодировщик исключительно на основе механизмов самовнимания и перекрестного внимания, что позволило значительно увеличить эффективность параллельной обработки данных и достичь новых высот в качестве выполнения задач.

Архитектура

Общая архитектура Seq2Seq состоит из двух основных компонентов: кодировщика (encoder) и декодировщика (decoder). Оба компонента традиционно являются рекуррентными нейронными сетями, однако в современных реализациях они часто заменяются архитектурой Трансформер.

Кодировщик

Кодировщик принимает на вход последовательность токенов $\mathbf{x} = (x_1, x_2, \dots, x_T)$ , где $T$ — длина последовательности. Каждый токен предварительно преобразуется в векторное представление (эмбеддинг). На каждом временном шаге $t$ кодировщик обновляет своё скрытое состояние $h_t$ :

$h_t = \text{RNN}(x_t, h_{t-1})$

где $x_t$ — векторное представление текущего токена, а $h_{t-1}$ — скрытое состояние с предыдущего шага.

Конечной целью кодировщика является создание вектора контекста $\mathbf{c}$ — вектора фиксированной размерности, который представляет собой сжатое представление всей входной последовательности. В простейшей реализации в качестве вектора контекста используется последнее скрытое состояние кодировщика:

$\mathbf{c} = h_T$

Однако в более совершенных архитектурах вектор контекста может вычисляться как взвешенная сумма всех скрытых состояний кодировщика (см. раздел «Механизм внимания»).

Декодировщик

Декодировщик генерирует выходную последовательность $\mathbf{y} = (y_1, y_2, \dots, y_{T'})$ , где $T'$ — длина выходной последовательности, которая может отличаться от $T$ . Начальное скрытое состояние декодировщика инициализируется вектором контекста:

$s_0 = \mathbf{c}$

На каждом шаге $t$ декодировщик обновляет своё состояние и вычисляет распределение вероятностей для следующего токена:

$s_t = \text{RNN}(y_{t-1}, s_{t-1})$

$P(y_t | y_{<t}, \mathbf{c}) = \text{softmax}(W_s s_t)$

где $y_{t-1}$ — векторное представление ранее сгенерированного токена (или специального стартового токена), $W_s$ — обучаемая матрица весов, а $y_{<t}$ — все ранее сгенерированные токены. Процесс генерации является авторегрессионным, поскольку каждый новый токен зависит от всех предыдущих.

Механизм внимания

Механизм внимания (attention mechanism) был предложен для преодоления проблемы «бутылочного горлышка» — потери информации при сжатии всей входной последовательности в один вектор фиксированной размерности. Вместо использования единственного вектора контекста механизм внимания позволяет декодировщику на каждом шаге генерации динамически выбирать наиболее релевантные части входной последовательности.

Для каждого выходного шага $t$ вычисляются веса внимания $\alpha_{t,i}$ , которые определяют степень важности $i$ -го скрытого состояния кодировщика для генерации $t$ -го токена:

$\alpha_{t,i} = \frac{\exp(e_{t,i})}{\sum_{j=1}^{T} \exp(e_{t,j})}$

где $e_{t,i}$ — функция соответствия (alignment score), вычисляемая на основе скрытого состояния декодировщика $s_{t-1}$ и скрытого состояния кодировщика $h_i$ . Наиболее распространённые функции соответствия включают скалярное произведение, аддитивную функцию (Bahdanau attention) и масштабированное скалярное произведение (Luong attention).

Контекстный вектор $\mathbf{c}_t$ для шага $t$ вычисляется как взвешенная сумма всех скрытых состояний кодировщика:

$\mathbf{c}_t = \sum_{i=1}^{T} \alpha_{t,i} h_i$

Этот подход значительно улучшает качество работы моделей, особенно на длинных последовательностях, и лёг в основу архитектуры Трансформер.

Обучение

Обучение Seq2Seq-моделей осуществляется на больших параллельных корпусах данных, содержащих пары входных и целевых последовательностей. Оптимизация ведётся с использованием методов градиентного спуска, как правило, с применением алгоритма Adam или стохастического градиентного спуска.

Для стабилизации и ускорения обучения часто используется техника Teacher Forcing, при которой на этапе обучения на вход декодировщика на каждом шаге подаётся не его собственное предыдущее предсказание, а соответствующий токен из правильной целевой последовательности (ground truth).

Функция потерь

В качестве функции потерь для задач классификации токенов обычно используется кросс-энтропия:

$\mathcal{L} = -\sum_{t=1}^{T'} \log P(y_t^* | y_{<t}^*, \mathbf{c})$

где $y_t^*$ — правильный целевой токен на шаге $t$ .

Для задач, где выходная последовательность может иметь различную длину, иногда применяются дополнительные штрафы или модификации функции потерь, учитывающие длину последовательности.

Стратегии инференса

На этапе применения модели (инференса) правильный ответ неизвестен, поэтому используются следующие стратегии выбора токенов:

Жадный поиск (greedy search): на каждом шаге выбирается токен с максимальной вероятностью:

$y_t = \arg\max_{y} P(y | y_{<t}, \mathbf{c})$

Поиск по лучу (beam search): одновременно поддерживается $k$ наиболее вероятных кандидатов (лучей). Функция оценки луча может включать нормализацию по длине для избегания предпочтения коротких последовательностей:

$\text{score}_{\text{normalized}}(\mathbf{y}) = \frac{1}{T'^{\alpha}} \sum_{t=1}^{T'} \log P(y_t | y_{<t}, \mathbf{x})$

где $\alpha$ — коэффициент штрафа за длину (обычно $0.6 \le \alpha \le 1.0$ ). Поиск по лучу обеспечивает лучшее качество по сравнению с жадным поиском, но требует больше вычислительных ресурсов.

Применения

Архитектура Seq2Seq (как на основе RNN с вниманием, так и на основе Трансформеров) лежит в основе множества современных систем:

Машинный перевод — классическая задача, для которой модель была изначально разработана.
Автоматическое реферирование текста (text summarization) — создание краткого изложения длинного документа^[1].
Распознавание речи — преобразование аудиосигнала в текстовую последовательность.
Диалоговые системы и чат-боты — генерация ответа на запрос пользователя.
Генерация подписей к изображениям (image captioning) — описание визуального содержимого текстом на естественном языке.
Биоинформатика — предсказание вторичной структуры белков, генерация последовательностей ДНК.
Генерация кода — автоматическое написание программного кода по текстовому описанию^[1].

Связь с когнитивными науками

Исследования показывают, что принципы работы архитектуры Seq2Seq с вниманием имеют функциональное сходство с моделями человеческой памяти^[1]. В частности, процесс кодирования информации кодировщиком и последующего её извлечения декодировщиком с помощью внимания напоминает процессы запоминания и свободного воспроизведения информации у человека. Это сходство помогает лучше понять роль контекста в процессах памяти и открывает новые возможности для моделирования когнитивных функций.

См. также

Примечания

Литература

Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. arXiv:1409.3215.
Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015.
Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS 2017.
See, A., Liu, P. J., & Manning, C. D. (2017). Get To The Point: Summarization with Pointer-Generator Networks. ACL 2017.
Kim, G., Awh, E., & Vogel, E. K. (2025). Sequence-to-sequence models with attention mechanistically map to the architecture of human memory search. Communications Psychology, 3, 146.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0_seq2seq»