Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

'''Sequence-to-Sequence''' (сокращённо '''Seq2Seq''') — класс архитектур [[Искусственная нейронная сеть|искусственных нейронных сетей]], предназначенных для преобразования одной последовательности данных в другую. Ключевой особенностью Seq2Seq является отсутствие требования к равенству длин входной и выходной последовательностей, что делает её универсальным инструментом для решения задач, где требуется генерация структурированного вывода на основе неструктурированного или структурированного входа. Архитектура нашла широкое применение в [[Машинный перевод|машинном переводе]], автоматическом реферировании текстов, [[Распознавание речи|распознавании речи]], диалоговых системах и других областях [[Обработка естественного языка|обработки естественного языка]]. == История == Первые значимые работы в области нейросетевого преобразования последовательностей относятся к началу 2010-х годов. В 2014 году была предложена архитектура, в которой и [[Кодировщик|кодировщик]], и [[Декодировщик|декодировщик]] были реализованы на основе [[Рекуррентная нейронная сеть|рекуррентных нейронных сетей]] (RNN), в частности, сетей долгой краткосрочной памяти ([[LSTM]])<ref name="sutskever2014">Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. ''arXiv:1409.3215''.</ref>. Эта работа стала фундаментальной и определила базовую архитектуру, которая впоследствии подвергалась многочисленным улучшениям. Ключевым ограничением ранних моделей Seq2Seq была проблема «бутылочного горлышка» — необходимость сжимать всю информацию о входной последовательности в вектор фиксированной размерности. Решением этой проблемы стало введение в 2015 году механизма внимания (attention mechanism)<ref name="bahdanau2015">Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ''ICLR 2015''.</ref>, который позволял декодировщику динамически выбирать наиболее релевантные части входной последовательности на каждом шаге генерации. Революционным этапом в развитии Seq2Seq стало появление архитектуры [[Transformer|Трансформер]] в 2017 году<ref name="vaswani2017">Vaswani, A., et al. (2017). Attention Is All You Need. ''NeurIPS 2017''.</ref>. Трансформер полностью отказался от рекуррентных связей, построив кодировщик и декодировщик исключительно на основе механизмов самовнимания и перекрестного внимания, что позволило значительно увеличить эффективность параллельной обработки данных и достичь новых высот в качестве выполнения задач. == Архитектура == Общая архитектура Seq2Seq состоит из двух основных компонентов: [[Кодировщик|кодировщика]] (''encoder'') и [[Декодировщик|декодировщика]] (''decoder''). Оба компонента традиционно являются [[Рекуррентная нейронная сеть|рекуррентными нейронными сетями]], однако в современных реализациях они часто заменяются архитектурой [[Transformer|Трансформер]]. === Кодировщик === Кодировщик принимает на вход последовательность токенов <tex>\mathbf{x} = (x_1, x_2, \dots, x_T)</tex>, где <tex>T</tex> — длина последовательности. Каждый токен предварительно преобразуется в [[Векторное представление слов|векторное представление]] (эмбеддинг). На каждом временном шаге <tex>t</tex> кодировщик обновляет своё скрытое состояние <tex>h_t</tex>: <tex> h_t = \text{RNN}(x_t, h_{t-1}) </tex> где <tex>x_t</tex> — векторное представление текущего токена, а <tex>h_{t-1}</tex> — скрытое состояние с предыдущего шага. Конечной целью кодировщика является создание '''вектора контекста''' <tex>\mathbf{c}</tex> — вектора фиксированной размерности, который представляет собой сжатое представление всей входной последовательности. В простейшей реализации в качестве вектора контекста используется последнее скрытое состояние кодировщика: <tex> \mathbf{c} = h_T </tex> Однако в более совершенных архитектурах вектор контекста может вычисляться как взвешенная сумма всех скрытых состояний кодировщика (см. раздел «Механизм внимания»). === Декодировщик === Декодировщик генерирует выходную последовательность <tex>\mathbf{y} = (y_1, y_2, \dots, y_{T'})</tex>, где <tex>T'</tex> — длина выходной последовательности, которая может отличаться от <tex>T</tex>. Начальное скрытое состояние декодировщика инициализируется вектором контекста: <tex> s_0 = \mathbf{c} </tex> На каждом шаге <tex>t</tex> декодировщик обновляет своё состояние и вычисляет распределение вероятностей для следующего токена: <tex> s_t = \text{RNN}(y_{t-1}, s_{t-1}) </tex> <tex> P(y_t | y_{<t}, \mathbf{c}) = \text{softmax}(W_s s_t) </tex> где <tex>y_{t-1}</tex> — векторное представление ранее сгенерированного токена (или специального стартового токена), <tex>W_s</tex> — обучаемая матрица весов, а <tex>y_{<t}</tex> — все ранее сгенерированные токены. Процесс генерации является [[Авторегрессионная модель|авторегрессионным]], поскольку каждый новый токен зависит от всех предыдущих. == Механизм внимания == '''Механизм внимания''' (''attention mechanism'') был предложен для преодоления проблемы «бутылочного горлышка» — потери информации при сжатии всей входной последовательности в один вектор фиксированной размерности. Вместо использования единственного вектора контекста механизм внимания позволяет декодировщику на каждом шаге генерации динамически выбирать наиболее релевантные части входной последовательности. Для каждого выходного шага <tex>t</tex> вычисляются веса внимания <tex>\alpha_{t,i}</tex>, которые определяют степень важности <tex>i</tex>-го скрытого состояния кодировщика для генерации <tex>t</tex>-го токена: <tex> \alpha_{t,i} = \frac{\exp(e_{t,i})}{\sum_{j=1}^{T} \exp(e_{t,j})} </tex> где <tex>e_{t,i}</tex> — функция соответствия (''alignment score''), вычисляемая на основе скрытого состояния декодировщика <tex>s_{t-1}</tex> и скрытого состояния кодировщика <tex>h_i</tex>. Наиболее распространённые функции соответствия включают [[Скалярное произведение|скалярное произведение]], аддитивную функцию ([[Bahdanau attention]]) и масштабированное скалярное произведение ([[Luong attention]]). Контекстный вектор <tex>\mathbf{c}_t</tex> для шага <tex>t</tex> вычисляется как взвешенная сумма всех скрытых состояний кодировщика: <tex> \mathbf{c}_t = \sum_{i=1}^{T} \alpha_{t,i} h_i </tex> Этот подход значительно улучшает качество работы моделей, особенно на длинных последовательностях, и лёг в основу архитектуры [[Transformer|Трансформер]]. == Обучение == Обучение Seq2Seq-моделей осуществляется на больших параллельных корпусах данных, содержащих пары входных и целевых последовательностей. Оптимизация ведётся с использованием методов [[Градиентный спуск|градиентного спуска]], как правило, с применением алгоритма [[Adam|Adam]] или стохастического градиентного спуска. Для стабилизации и ускорения обучения часто используется техника [[Teacher Forcing]], при которой на этапе обучения на вход декодировщика на каждом шаге подаётся не его собственное предыдущее предсказание, а соответствующий токен из правильной целевой последовательности (''ground truth''). === Функция потерь === В качестве функции потерь для задач [[Классификация|классификации]] токенов обычно используется [[Кросс-энтропия|кросс-энтропия]]: <tex> \mathcal{L} = -\sum_{t=1}^{T'} \log P(y_t^* | y_{<t}^*, \mathbf{c}) </tex> где <tex>y_t^*</tex> — правильный целевой токен на шаге <tex>t</tex>. Для задач, где выходная последовательность может иметь различную длину, иногда применяются дополнительные штрафы или модификации функции потерь, учитывающие длину последовательности. === Стратегии инференса === На этапе применения модели (инференса) правильный ответ неизвестен, поэтому используются следующие стратегии выбора токенов: * '''Жадный поиск''' (''greedy search''): на каждом шаге выбирается токен с максимальной вероятностью: <tex> y_t = \arg\max_{y} P(y | y_{<t}, \mathbf{c}) </tex> * '''Поиск по лучу''' (''beam search''): одновременно поддерживается <tex>k</tex> наиболее вероятных кандидатов (лучей). Функция оценки луча может включать нормализацию по длине для избегания предпочтения коротких последовательностей: <tex> \text{score}_{\text{normalized}}(\mathbf{y}) = \frac{1}{T'^{\alpha}} \sum_{t=1}^{T'} \log P(y_t | y_{<t}, \mathbf{x}) </tex> где <tex>\alpha</tex> — коэффициент штрафа за длину (обычно <tex>0.6 \le \alpha \le 1.0</tex>). Поиск по лучу обеспечивает лучшее качество по сравнению с жадным поиском, но требует больше вычислительных ресурсов. == Применения == Архитектура Seq2Seq (как на основе RNN с вниманием, так и на основе Трансформеров) лежит в основе множества современных систем: * '''[[Машинный перевод]]''' — классическая задача, для которой модель была изначально разработана. * '''Автоматическое реферирование текста''' (''text summarization'') — создание краткого изложения длинного документа<ref name="see2017">See, A., Liu, P. J., & Manning, C. D. (2017). Get To The Point: Summarization with Pointer-Generator Networks. ''ACL 2017''.</ref>. * '''[[Распознавание речи]]''' — преобразование аудиосигнала в текстовую последовательность. * '''Диалоговые системы и [[Чат-бот|чат-боты]]''' — генерация ответа на запрос пользователя. * '''Генерация подписей к изображениям''' (''image captioning'') — описание визуального содержимого текстом на естественном языке. * '''[[Биоинформатика]]''' — предсказание вторичной структуры белков, генерация последовательностей [[ДНК|ДНК]]. * '''Генерация кода''' — автоматическое написание программного кода по текстовому описанию<ref name="chen2021">Chen, M., et al. (2021). Evaluating Large Language Models Trained on Code. ''arXiv:2107.03374''.</ref>. == Связь с когнитивными науками == Исследования показывают, что принципы работы архитектуры Seq2Seq с вниманием имеют функциональное сходство с моделями человеческой памяти<ref name="kim2025">Kim, G., Awh, E., & Vogel, E. K. (2025). Sequence-to-sequence models with attention mechanistically map to the architecture of human memory search. ''Communications Psychology'', 3, 146.</ref>. В частности, процесс кодирования информации кодировщиком и последующего её извлечения декодировщиком с помощью внимания напоминает процессы запоминания и свободного воспроизведения информации у человека. Это сходство помогает лучше понять роль контекста в процессах памяти и открывает новые возможности для моделирования когнитивных функций. == См. также == * [[Рекуррентная нейронная сеть]] * [[Долгая краткосрочная память]] * [[Механизм внимания (машинное обучение)]] * [[Transformer]] * [[Обработка естественного языка]] * [[Машинный перевод]] * [[Суммаризация текста]] == Примечания == {{примечания}} == Литература == * Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. ''arXiv:1409.3215''. * Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ''ICLR 2015''. * Vaswani, A., et al. (2017). Attention Is All You Need. ''NeurIPS 2017''. * See, A., Liu, P. J., & Manning, C. D. (2017). Get To The Point: Summarization with Pointer-Generator Networks. ''ACL 2017''. * Kim, G., Awh, E., & Vogel, E. K. (2025). Sequence-to-sequence models with attention mechanistically map to the architecture of human memory search. ''Communications Psychology'', 3, 146.

• Шаблон:Примечания

Возврат к странице Архитектура seq2seq.