|
|
| (1 промежуточная версия не показана) |
| Строка 1: |
Строка 1: |
| - | {{well|Статья написана с использованием LLM '''DeepSeek-V3''' и проверена участником [[Участник:Aleksei Klesov|А. Клёсов]] 18:40, 11 июля 2026 (MSD)}}
| + | Первый промпт к Deepseek-V3 (режим Глубокое мышление + умный поиск): |
| - | {{TOCright}} | + | {{tip| |
| - | | + | <nowiki> |
| - | | + | Ты — эксперт по машинному обучению, профессор ведущего технического университета и научный редактор портала MachineLearning.ru. Напиши глубокую и энциклопедическую вики-статью на русском языке на тему «Долгая краткосрочная память» (Long Short-Term Memory, LSTM). Целевая аудитория — мотивированные студенты технических вузов, начинающие специалисты и практикующие инженеры-исследователи. Стиль — спокойный, академический, строгий, но доступный. Избегай школьной структуры «Введение - Основная часть - Заключение» — придерживайся структуры секционирования, принятой для статей о важных научных понятиях в Википедии.Начни с чёткого строгого определения. Читателям должны быть понятны основы из первых разделов. Обязательно добавь историческую справку: от фундаментальной проблемы классических рекуррентных сетей (статья Бенджио 1994 года об исчезающем градиенте) до прорывной работы Зеппа Хохрайтера и Юргена Шмидхубера (1997) и последующего внедрения «вентиля забывания» (Феликс Герс, 1999). Новизна и глубина. Раскрой тему не только концептуально, но и математически. Детально опиши внутреннее устройство ячейки LSTM: состояние ячейки (cell state) и скрытое состояние (hidden state). Объясни математику работы системы вентилей: вентиль забывания (forget gate), вентиль входа (input gate) и вентиль выхода (output gate). Опиши, как алгоритм обратного распространения ошибки сквозь время (BPTT) работает в LSTM и как механизм Constant Error Carousel (CEC) решает проблему исчезающего градиента (vanishing gradient). Сделай обзор ключевых модификаций и альтернатив: peephole connections (глазковые фильтры) и GRU (Gated Recurrent Unit), объяснив мотивацию перехода к ним. Кратко затронь место LSTM в современном мире ИИ: от эпохи доминирования в задачах NLP и обработки временных рядов до конкуренции с архитектурой Трансформер. Затронь вопрос вычислительной специфики (сложность распараллеливания последовательных вычислений на GPU/TPU по сравнению с механизмами внимания и роль оптимизированных библиотек вроде cuDNN). Текст должен читаться так, будто его написал доцент кафедры ИИ. Делись глубоким пониманием процессов, а не просто пересказывай базовую документацию. Не выдумывай факты. Опирайся на реальные классические научные работы (Хохрайтер, Шмидхубер, Герс, Чо, Бахданау). Добавляй ссылки на источники прямо в текст статьи (используй теги <ref>). В конце собери список научной литературы, оформи по шаблону. Всегда проверяй корректность ссылок и авторов. |
| - | | + | Важные понятия и смежные термины при первом упоминании оформляй как внутренние ссылки на другие статьи энциклопедии (через двойные квадратные скобки). Используй форматирование вики‑разметки. Важные математические формулы (уравнения вентилей, функцию обновления состояния ячейки и скрытого состояния) обязательно оформляй в LaTeX-подобном виде через тег <tex>. |
| - | '''Долгая краткосрочная память''' (англ. ''Long Short-Term Memory, LSTM'') — особая архитектура [[Рекуррентная нейронная сеть|рекуррентных нейронных сетей]] (RNN), предложенная в 1997 году [[Хохрайтер, Зепп|Зеппом Хохрайтером]] и [[Шмидхубер, Юрген|Юргеном Шмидхубером]]<ref name="Hochreiter1997">Hochreiter, Schmidhuber, 1997</ref>. Архитектура вводит специализированные блоки памяти, позволяющие модели эффективно обучаться на последовательностях с протяжёнными временны́ми зависимостями, преодолевая фундаментальные ограничения классических RNN, связанные с [[Исчезновение и взрыв градиента|исчезновением и взрывом градиента]]<ref name="Bengio1994">Bengio, Simard, Frasconi, 1994</ref><ref name="Hochreiter1997" />. Благодаря способности сохранять информацию на протяжении тысяч временны́х шагов LSTM стали основой для многих прорывных достижений в [[Обработка естественного языка|обработке естественного языка]] (NLP), [[Распознавание речи|распознавании речи]], [[Машинный перевод|машинном переводе]] и [[Анализ временных рядов|анализе временных рядов]]<ref name="Hochreiter1997" /><ref name="Lipton2015">Lipton, Berkowitz, Elkan, 2015</ref>.
| + | </nowiki> |
| - | | + | }} |
| - | == Историческая справка ==
| + | Полученная статья получилась в целом хорошей, но был ряд замечаний (особенно по оформлению), поэтому второй промпт был такой: |
| - | | + | {{tip| |
| - | === Проблема долгосрочных зависимостей ===
| + | <nowiki> |
| - | | + | Отличный результат! |
| - | К середине 1990-х годов стало очевидно, что стандартные рекуррентные сети, обучаемые с помощью [[Обратное распространение ошибки во времени|обратного распространения ошибки во времени]] (Backpropagation Through Time, BPTT), неспособны удерживать информацию на временны́х интервалах, превышающих 10–20 шагов<ref name="Bengio1994" />. В 1991 году Хохрайтер в своей дипломной работе<ref name="Hochreiter1991">Hochreiter, 1991</ref> детально проанализировал это явление, показав, что градиенты функции потерь по параметрам сети при распространении назад во времени экспоненциально затухают (или, в некоторых случаях, неограниченно возрастают) из-за многократного умножения на матрицу весов рекуррентных связей<ref name="Bengio1994" /><ref name="Hochreiter1997" />. Эта проблема, известная как ''исчезающий градиент'', делает обучение классических RNN практически невозможным для задач, требующих учёта событий, разделённых большими временны́ми промежутками.
| + | Но есть несколько замечаний: |
| - | | + | 1.Полностью переработай раздел «Литература». Каждая позиция должна быть оформлена строго через шаблон: |
| - | === Создание LSTM (1997) ===
| + | {{статья |автор= ... |заглавие= ... |издание= ... |год= ... |страницы= ... |ссылка= |ref= ... }} |
| - | | + | В параметре `ref` укажи короткий идентификатор (например, `Hochreiter1997`). |
| - | Хохрайтер и Шмидхубер предложили радикальное решение: ввести в архитектуру сети специализированные ''ячейки памяти'' (memory cells) с саморекуррентной связью, вес которой зафиксирован равным единице<ref name="Hochreiter1997" />. Этот механизм, названный ''Constant Error Carousel'' (CEC, карусель постоянной ошибки), обеспечивает прохождение градиента через ячейку без затухания, позволяя сети удерживать информацию на протяжении сотен и тысяч шагов<ref name="Hochreiter1997" /><ref name="Lipton2015" />. Доступ к CEC регулируется двумя мультипликативными вентилями — ''входным'' (input gate) и ''выходным'' (output gate), которые обучаются открывать или закрывать доступ к потоку ошибок, что позволяет сети динамически решать, какую информацию сохранять, а какую — игнорировать<ref name="Hochreiter1997" />.
| + | 2.Переведи все сноски в гарвардский стиль. Внутри тегов `<ref>` в тексте не должно быть полного описания. Оставь только краткую запись вида: `<ref name="Hochreiter1997">Hochreiter, Schmidhuber, 1997</ref>`. Удали все конструкции `{{,}}` между сносками |
| - | | + | 3. Полностью удали любые упоминания и ссылки на саму Википедию (сноски вида `lstm_wiki`). Замени их ссылками на классические обзорные статьи (например, Lipton et al., 2015 "A Critical Review of Recurrent Neural Networks for Sequence Learning"). |
| - | Первоначальная версия LSTM, однако, имела ограничение: ячейка памяти не могла сбрасывать своё состояние, что делало её непригодной для обработки непрерывных потоков данных без явной сегментации на эпизоды<ref name="Gers2000a">Gers, Schmidhuber, Cummins, 2000</ref>.
| + | 4. Замени абсолютно все теги `<math>` на `<tex>`. Не смешивай их. |
| - | | + | Исправь опечатку в уравнении обновления состояния ячейки: должно быть `c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t`. |
| - | === Вентиль забывания и последующие усовершенствования (1999–2000) ===
| + | Исправь производную: должно быть `\partial c_t / \partial c_{t-1}` (индекс внизу). |
| - | | + | Сделай оговорку, что равенство производной `f_t` — это математическое упрощение, описывающее главный путь протекания градиента (так как `f_t` и `i_t` тоже зависят от `c_{t-1}`). |
| - | В 1999 году Феликс Герс (Felix Gers) ввёл в архитектуру LSTM третий вентиль — ''вентиль забывания'' (forget gate, также называемый ''keep gate''), который позволил ячейке обучаться сбрасывать своё состояние в нужные моменты времени<ref name="Gers2000a" /><ref name="Lipton2015" />. Это нововведение не только решило проблему неограниченного роста состояния в непрерывных потоках, но и дало сети возможность «забывать» устаревшую информацию, освобождая внутренние ресурсы<ref name="Gers2000a" />. В том же году Герс и Шмидхубер предложили модификацию с ''глазковыми соединениями'' (peephole connections) — прямыми связями от состояния ячейки к вентилям, что позволяет вентилям «видеть» текущее состояние ячейки и принимать более информированные решения<ref name="Gers2000b">Gers, Schmidhuber, 2000</ref><ref name="Lipton2015" />. Современная каноническая форма LSTM включает в себя все три вентиля (забывания, входа, выхода) и, во многих реализациях, глазковые соединения<ref name="Lipton2015" />.
| + | Упомяни, что начальные состояния `h_0` и `c_0` обычно инициализируются нулями. |
| - | | + | Для наглядности распиши конкатенацию матриц более привычно: вместо `W_f [h_{t-1}, x_t]` напиши `W_{fx} x_t + W_{fh} h_{t-1} + b_f`. |
| - | == Архитектура и математический аппарат ==
| + | 5.Во введении замени шаблон `{{lang-en|...}}` на текст: `(англ. ''Long Short-Term Memory, LSTM'')`. |
| - | | + | В разделе «См. также» оформи все пункты как маркированный список (добавь `*` перед каждой внутренней ссылкой `[[...]]`). |
| - | === Общее устройство ячейки LSTM ===
| + | В разделе «Примечания» замени шаблон `{{примечания}}` на тег `<references />`. |
| - | | + | </nowiki> |
| - | Базовым строительным блоком LSTM-сети является '''ячейка LSTM''' (LSTM cell). В каждый момент времени <tex>t</tex> ячейка получает на вход вектор <tex>x_t \in \mathbb{R}^d</tex> (текущий элемент последовательности) и скрытое состояние <tex>h_{t-1} \in \mathbb{R}^n</tex> с предыдущего шага. Внутри ячейки поддерживается вектор '''состояния ячейки''' <tex>c_{t-1} \in \mathbb{R}^n</tex> (cell state) — «долговременная память», которая может сохранять информацию на протяжении многих шагов. Выходом ячейки является обновлённое скрытое состояние <tex>h_t</tex>, которое передаётся на следующий шаг и (в зависимости от архитектуры) используется для формирования предсказания<ref name="Hochreiter1997" /><ref name="Lipton2015" />.
| + | }} |
| - | | + | После этого текст никак не менялся. |
| - | Ключевая инновация LSTM — три '''вентиля''' (gates), каждый из которых представляет собой слой с [[Сигмоида (функция)|сигмоидальной]] функцией активации <tex>\sigma(x) = 1/(1+e^{-x})</tex>. Сигмоида выдаёт значения в интервале <tex>(0, 1)</tex>, которые интерпретируются как степень «открытости» вентиля (0 — полностью закрыт, 1 — полностью открыт). Вентили управляют потоками информации внутри ячейки: вентиль забывания определяет, какую часть предыдущего состояния ячейки следует сохранить; вентиль входа решает, какую часть новой информации (кандидата на обновление) следует записать в ячейку; вентиль выхода управляет тем, какая часть состояния ячейки будет передана на выход в виде скрытого состояния<ref name="Lipton2015" />.
| + | В целом опыт считаю успешным и очень интересным! - '''[[Участник:Aleksei Klesov|А. Клёсов]]''' 11.07.2026 |
| - | | + | |
| - | === Математическая формулировка ===
| + | |
| - | | + | |
| - | Пусть <tex>W_{fx}, W_{fh}, W_{ix}, W_{ih}, W_{ox}, W_{oh}, W_{cx}, W_{ch}</tex> — матрицы весов (размерности <tex>n \times d</tex> для входных связей и <tex>n \times n</tex> для рекуррентных), а <tex>b_f, b_i, b_o, b_c \in \mathbb{R}^n</tex> — векторы смещений. Тогда вычисления внутри ячейки LSTM на шаге <tex>t</tex> описываются следующими уравнениями<ref name="Lipton2015" />:
| + | |
| - | | + | |
| - | <tex> \begin{aligned} f_t &= \sigma(W_{fx} x_t + W_{fh} h_{t-1} + b_f), \\ i_t &= \sigma(W_{ix} x_t + W_{ih} h_{t-1} + b_i), \\ \tilde{c}_t &= \tanh(W_{cx} x_t + W_{ch} h_{t-1} + b_c), \\ c_t &= f_t \odot c_{t-1} + i_t \odot \tilde{c}_t, \\ o_t &= \sigma(W_{ox} x_t + W_{oh} h_{t-1} + b_o), \\ h_t &= o_t \odot \tanh(c_t), \end{aligned} </tex>
| + | |
| - | где <tex>\odot</tex> — [[Произведение Адамара|покомпонентное умножение]] (поэлементное произведение векторов); <tex>\tanh</tex> — [[Гиперболический тангенс|гиперболический тангенс]], используемый для приведения значений к интервалу <tex>(-1, 1)</tex><ref name="Lipton2015" />. Начальные состояния <tex>h_0</tex> и <tex>c_0</tex> обычно инициализируются нулевыми векторами.
| + | |
| - | | + | |
| - | '''Интерпретация''':
| + | |
| - | | + | |
| - | <tex>f_t</tex> — вентиль забывания: определяет, какую долю предыдущего состояния <tex>c_{t-1}</tex> следует «забыть» (умножить на 0) или сохранить (умножить на 1).
| + | |
| - | | + | |
| - | <tex>i_t</tex> — вентиль входа: определяет, какую часть нового кандидата <tex>\tilde{c}_t</tex> следует записать в состояние ячейки.
| + | |
| - | | + | |
| - | <tex>\tilde{c}_t</tex> — вектор кандидата на обновление: новые значения, которые могут быть добавлены к состоянию. | + | |
| - | | + | |
| - | <tex>c_t</tex> — обновлённое состояние ячейки: взвешенная сумма старого состояния (через вентиль забывания) и новой информации (через вентиль входа).
| + | |
| - | | + | |
| - | <tex>o_t</tex> — вентиль выхода: определяет, какая часть состояния <tex>c_t</tex> (после применения <tex>\tanh</tex>) будет передана как скрытое состояние <tex>h_t</tex>.
| + | |
| - | | + | |
| - | В случае использования глазковых соединений (peephole connections)<ref name="Gers2000b" /> уравнения модифицируются: к аргументам сигмоид для вентилей добавляются слагаемые, зависящие от состояния ячейки <tex>c_{t-1}</tex> (для вентилей забывания и входа) или <tex>c_t</tex> (для вентиля выхода)<ref name="Lipton2015" />.
| + | |
| - | | + | |
| - | == Обучение и распространение ошибки ==
| + | |
| - | | + | |
| - | Обучение LSTM, как и других RNN, осуществляется с помощью алгоритма '''[[Обратное распространение ошибки во времени]]''' (Backpropagation Through Time, BPTT). Однако ключевое отличие LSTM от классических RNN заключается в том, как градиент распространяется через ячейку памяти. В стандартной RNN градиент при обратном проходе умножается на матрицу весов рекуррентных связей на каждом шаге, что приводит к экспоненциальному затуханию (или росту) при длинных последовательностях<ref name="Bengio1994" />.
| + | |
| - | | + | |
| - | В LSTM механизм '''Constant Error Carousel (CEC)''' — саморекуррентная связь ячейки с весом, равным единице — обеспечивает прохождение градиента через ячейку без изменений, если вентиль забывания полностью открыт<ref name="Hochreiter1997" /><ref name="Lipton2015" />. Действительно, из уравнения обновления состояния <tex>c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}t</tex> следует, что в скалярном случае главный путь распространения градиента описывается производной <tex>\partial c_t / \partial c{t-1} = f_t</tex> (это равенство является математическим упрощением, поскольку в общем случае, например при использовании глазковых соединений, <tex>f_t</tex> и <tex>i_t</tex> также зависят от <tex>c_{t-1}</tex>, однако указанная производная описывает основной канал протекания градиента). Если <tex>f_t \approx 1</tex>, градиент сохраняется практически без затухания на протяжении многих шагов<ref name="Lipton2015" />. Вентили, обучаясь, могут динамически регулировать эту производную, открывая или закрывая доступ к потоку ошибок, что даёт сети возможность выбирать, какую информацию сохранять для долгосрочного обучения<ref name="Hochreiter1997" />.
| + | |
| - | | + | |
| - | Важно отметить, что, хотя CEC решает проблему ''исчезающего'' градиента для состояния ячейки, градиенты, проходящие через вентили и другие части сети, по-прежнему могут затухать. Однако на практике LSTM демонстрирует значительно лучшую способность к обучению долгосрочным зависимостям по сравнению с классическими RNN<ref name="Hochreiter1997" /><ref name="Chung2014">Chung, Gulcehre, Cho, Bengio, 2014</ref>.
| + | |
| - | | + | |
| - | == Модификации и альтернативы ==
| + | |
| - | | + | |
| - | === Глазковые соединения (Peephole Connections) ===
| + | |
| - | | + | |
| - | В 2000 году Герс и Шмидхубер предложили модификацию LSTM, в которой вентили получают дополнительный вход от состояния ячейки<ref name="Gers2000b" />. Это позволяет вентилям «видеть» текущее состояние ячейки и принимать более точные решения. Например, вентиль выхода, зная состояние ячейки, может лучше определить, какую информацию следует выдавать на выход. Эксперименты показали, что глазковые соединения улучшают способность сети различать тонкие временны́е паттерны<ref name="Gers2000b" /><ref name="Lipton2015" />.
| + | |
| - | | + | |
| - | === Управляемый рекуррентный нейрон (GRU) ===
| + | |
| - | | + | |
| - | В 2014 году Чо и соавторы предложили '''[[Управляемый рекуррентный нейрон|управляемый рекуррентный нейрон]]''' (Gated Recurrent Unit, GRU)<ref name="Cho2014">Cho, van Merriënboer, Gulcehre, et al., 2014</ref> как более простую альтернативу LSTM. GRU объединяет вентиль забывания и вентиль входа в один «вентиль обновления» (update gate) и, кроме того, объединяет состояние ячейки и скрытое состояние<ref name="Cho2014" /><ref name="Lipton2015" />. В результате GRU имеет меньше параметров, чем LSTM, что делает его вычислительно более эффективным и менее склонным к переобучению на малых объёмах данных<ref name="Chung2014" />. На многих задачах GRU демонстрирует производительность, сравнимую с LSTM<ref name="Chung2014" /><ref name="Lipton2015" />, однако LSTM сохраняет преимущество в задачах, требующих очень долгой памяти<ref name="Chung2014" />.
| + | |
| - | | + | |
| - | === Другие варианты ===
| + | |
| - | | + | |
| - | Существуют и другие модификации LSTM, такие как [[Phased LSTM]], вводящая дополнительный временной вентиль для работы с событиями, происходящими нерегулярно<ref name="Neil2016">Neil, Pfeiffer, Liu, 2016</ref>, или [[Bidirectional LSTM]] (двунаправленная LSTM), обрабатывающая последовательность как в прямом, так и в обратном направлении для учёта контекста с обеих сторон<ref name="Lipton2015" />.
| + | |
| - | | + | |
| - | == LSTM и архитектура Трансформер ==
| + | |
| - | | + | |
| - | С 2017 года, после появления архитектуры [[Трансформер|Трансформер]]<ref name="Vaswani2017">Vaswani, Shazeer, Parmar, et al., 2017</ref>, LSTM постепенно утратила статус доминирующего подхода в NLP. Трансформеры, основанные на механизме [[Внимание (машинное обучение)|внимания]] (attention), позволяют обрабатывать всю последовательность параллельно, что даёт огромное преимущество в эффективности использования [[Графический процессор|GPU]] и [[Тензорный процессор|TPU]] по сравнению с рекуррентными сетями, которые по своей природе являются последовательными<ref name="Vaswani2017" />. LSTM вынуждена обрабатывать элементы последовательности один за другим, что ограничивает степень распараллеливания<ref name="Lipton2015" />. Хотя существуют оптимизированные библиотеки, такие как [[cuDNN]]<ref name="cudnn_blog">NVIDIA, 2016</ref>, ускоряющие вычисления LSTM на GPU за счёт эффективных реализаций матричных операций (GEMM)<ref name="cudnn_blog" />, фундаментальная последовательная природа остаётся узким местом.
| + | |
| - | | + | |
| - | Тем не менее, LSTM сохраняет актуальность в ряде областей:
| + | |
| - | | + | |
| - | Задачи с малыми объёмами данных, где трансформеры склонны к переобучению.
| + | |
| - | | + | |
| - | Приложения, где важна интерпретируемость и управляемость (например, в финансовых прогнозах).
| + | |
| - | | + | |
| - | Мобильные и встраиваемые системы с ограниченными вычислительными ресурсами, где LSTM требует меньше памяти и вычислений, чем трансформеры<ref name="Lipton2015" />.
| + | |
| - | | + | |
| - | Кроме того, многие современные гибридные подходы комбинируют LSTM с механизмами внимания, используя LSTM для локальной обработки последовательности, а внимание — для глобального контекста<ref name="Lipton2015" />.
| + | |
| - | | + | |
| - | == Вычислительная специфика ==
| + | |
| - | | + | |
| - | Рекуррентная природа LSTM накладывает серьёзные ограничения на распараллеливание вычислений. В отличие от трансформеров, где все позиции последовательности обрабатываются одновременно, LSTM требует последовательного прохода по временны́м шагам: вычисление <tex>h_t</tex> и <tex>c_t</tex> на шаге <tex>t</tex> зависит от <tex>h_{t-1}</tex> и <tex>c_{t-1}</tex>, полученных на предыдущем шаге. Это означает, что ускорение на GPU достигается в основном за счёт параллельной обработки внутри каждого шага (матричные умножения) и обработки нескольких последовательностей в батче, но не за счёт распараллеливания по времени<ref name="cudnn_blog" />.
| + | |
| - | | + | |
| - | Библиотека [[cuDNN]] от NVIDIA предлагает высокооптимизированные реализации LSTM, которые используют эффективные [[Блочная матрица|блочные]] вычисления GEMM и специальные техники для минимизации накладных расходов на передачу данных между ядрами GPU<ref name="cudnn_blog" />. В 2016 году в cuDNN 5 были представлены оптимизации для LSTM и GRU, позволившие значительно ускорить обучение и инференс<ref name="cudnn_blog" />. Однако, как отмечают исследователи, даже с этими оптимизациями использование GPU для LSTM часто оказывается менее эффективным, чем для трансформеров, из-за малого количества одновременно выполняемых потоковых мультипроцессоров (SM) при обработке коротких последовательностей<ref name="cudnn_blog" />.
| + | |
| - | | + | |
| - | == См. также ==
| + | |
| - | | + | |
| - | [[Рекуррентная нейронная сеть]]
| + | |
| - | | + | |
| - | [[Исчезновение и взрыв градиента]]
| + | |
| - | | + | |
| - | [[Управляемый рекуррентный нейрон]] | + | |
| - | | + | |
| - | [[Трансформер]]
| + | |
| - | | + | |
| - | [[Внимание]]
| + | |
| - | | + | |
| - | == Примечания ==
| + | |
| - | | + | |
| - | <references />
| + | |
| - | == Литература ==
| + | |
| - | | + | |
| - | {{статья |автор=Hochreiter S., Schmidhuber J. |заглавие=Long Short-Term Memory |издание=Neural Computation |год=1997 |том=9 |номер=8 |страницы=1735–1780 |ссылка= |ref=Hochreiter1997}}
| + | |
| - | | + | |
| - | {{статья |автор=Bengio Y., Simard P., Frasconi P. |заглавие=Learning long-term dependencies with gradient descent is difficult |издание=IEEE Transactions on Neural Networks |год=1994 |том=5 |номер=2 |страницы=157–166 |ссылка= |ref=Bengio1994}}
| + | |
| - | | + | |
| - | {{статья |автор=Gers F. A., Schmidhuber J., Cummins F. |заглавие=Learning to Forget: Continual Prediction with LSTM |издание=Neural Computation |год=2000 |том=12 |номер=10 |страницы=2451–2471 |ссылка= |ref=Gers2000a}}
| + | |
| - | | + | |
| - | {{статья |автор=Gers F. A., Schmidhuber J. |заглавие=Recurrent Nets that Time and Count |издание=Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks (IJCNN 2000) |год=2000 |том=3 |страницы=189–194 |ссылка= |ref=Gers2000b}}
| + | |
| - | | + | |
| - | {{статья |автор=Lipton Z. C., Berkowitz J., Elkan C. |заглавие=A Critical Review of Recurrent Neural Networks for Sequence Learning |издание=arXiv preprint arXiv:1506.00019 |год=2015 |страницы= |ссылка= |ref=Lipton2015}}
| + | |
| - | | + | |
| - | {{статья |автор=Cho K., van Merriënboer B., Gulcehre C., et al. |заглавие=Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation |издание=Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) |год=2014 |страницы=1724–1734 |ссылка= |ref=Cho2014}}
| + | |
| - | | + | |
| - | {{статья |автор=Chung J., Gulcehre C., Cho K., Bengio Y. |заглавие=Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling |издание=arXiv preprint arXiv:1412.3555 |год=2014 |страницы= |ссылка= |ref=Chung2014}}
| + | |
| - | | + | |
| - | {{статья |автор=Vaswani A., Shazeer N., Parmar N., et al. |заглавие=Attention Is All You Need |издание=Advances in Neural Information Processing Systems (NIPS 2017) |год=2017 |страницы=5998–6008 |ссылка= |ref=Vaswani2017}}
| + | |
| - | | + | |
| - | {{статья |автор=Neil D., Pfeiffer M., Liu S. C. |заглавие=Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences |издание=Advances in Neural Information Processing Systems (NIPS 2016) |год=2016 |страницы= |ссылка= |ref=Neil2016}}
| + | |
| - | | + | |
| - | {{статья |автор=NVIDIA |заглавие=Optimizing Recurrent Neural Networks in cuDNN 5 |издание=NVIDIA Developer Blog |год=2016 |страницы= |ссылка=https://developer.nvidia.com/blog/optimizing-recurrent-neural-networks-in-cudnn-5/ |ref=cudnn_blog}}
| + | |
