Авторегрессионная модель

Материал из MachineLearning.

(Различия между версиями)

Версия 17:51, 14 июля 2026

Статья написана с использованием LLM DeepSeek и проверена участником К.А.Савицкий 19:39, 14 июль 2026 (UTC)

Авторегрессионная модель (autoregressive model) — класс генеративных моделей в машинном обучении, в которых совместное распределение многомерной случайной величины факторизуется в произведение одномерных условных распределений по цепному правилу. Каждое последующее измерение (признак, пиксель, токен) предсказывается как функция предыдущих, что и дало название — от греч. αὐτός (сам) и лат. regressio (возвращение). Модель явно задаёт функцию плотности (или вероятностной массы) и допускает точное вычисление логарифмического правдоподобия, что делает её привлекательной для задач обучения без учителя, сжатия данных и генерации последовательностей.

Содержание

1 Математическая формулировка
2 История развития
3 Основные архитектуры
4 Процесс обучения
5 Разновидности и модификации
6 Преимущества и ограничения
- 6.1 Преимущества
- 6.2 Ограничения
7 Современные применения
8 См. также
9 Примечания

Математическая формулировка

Пусть $\mathbf{x} = (x_1, x_2, \dots, x_D)$ — многомерная случайная величина (изображение, аудиосигнал, текстовое предложение). Совместное распределение с помощью цепного правила представляется в виде $p(\mathbf{x}) = \prod_{t=1}^{D} p(x_t \mid \mathbf{x}_{<t}),$ где $\mathbf{x}_{<t} = (x_1, \dots, x_{t-1})$ . Каждое условное распределение $p(x_t \mid \mathbf{x}_{<t})$ моделируется нейронной сетью с параметрами $\theta$ , которая принимает на вход предшествующие элементы и выдаёт параметры распределения (например, среднее и дисперсию для непрерывного случая либо логиты для категориальных переменных). Функция правдоподобия параметров $\mathcal{L}(\theta) = \sum_{t=1}^{D} \log p_\theta(x_t \mid \mathbf{x}_{<t})$ является полностью дифференцируемой, что позволяет оптимизировать модель градиентными методами.

При генерации нового образца элементы синтезируются последовательно: сначала генерируется $\hat{x}_1 \sim p_\theta(x_1)$ , затем $\hat{x}_2 \sim p_\theta(x_2 \mid \hat{x}_1)$ и так далее до $\hat{x}_D$ . Авторегрессионная факторизация не накладывает ограничений на выбор порядка индексов; на практике чаще всего используют естественный порядок (левый верхний угол → правый нижний для изображений, слева направо для текста и аудио), хотя исследуются и другие схемы.

История развития

Корни идеи уходят в классические авторегрессионные модели временных рядов (AR, ARMA), предложенные Джорджем Боксом и Гвилимом Дженкинсом в 1970-х годах^[1]. Однако современные нейросетевые авторегрессионные модели ведут отсчёт с начала 2010‑х.

Первыми глубокими авторегрессионными моделями плотности стали NADE (Neural Autoregressive Distribution Estimator)^[1] и его обобщение MADE (Masked Autoencoder for Distribution Estimation)^[1], которые с помощью специального маскирования весов полносвязной сети гарантировали свойство авторегрессионности. Переломным моментом стало появление PixelRNN и PixelCNN^[1], масштабировавших идею на полноценные изображения. В том же году была представлена WaveNet^[1] — глубокая сверточная авторегрессионная модель для сырого аудио, продемонстрировавшая качество, близкое к человеческой речи.

Следующей вехой стал трансформер^[1], декодерная часть которого является авторегрессионной моделью последовательностей с глобальным самовниманием. Архитектура легла в основу семейства GPT (Generative Pre‑trained Transformer)^[1] и привела к появлению больших языковых моделей с сотнями миллиардов параметров. Параллельно развивались авторегрессионные потоки (MAF, IAF)^[1], объединившие авторегрессионные модели с нормализующими потоками, а также VQ‑VAE^[1], использующая авторегрессионный приор в дискретном скрытом пространстве.

Основные архитектуры

Пиксельные авторегрессионные модели

Моделируют изображение как последовательность пикселей в порядке растровой развёртки. PixelRNN^[1] обрабатывает строки пикселей двумерной рекуррентной сетью (Row LSTM или Diagonal BiLSTM), что позволяет учитывать сколь угодно далёкий контекст, но обучение медленное. PixelCNN^[1] заменяет рекуррентные связи на свёрточные с маской, запрещающей видеть будущие пиксели; обучение полностью параллельно, однако растровый контекст ограничен «слепой зоной». Gated PixelCNN^[1] ввёл вентильные (gated) механизмы, а PixelCNN++^[1] — непрерывное правдоподобие на основе смеси дискретизированных логистических распределений. Модель PixelSNAIL^[1] добавила самовнимание, объединив преимущества CNN и Transformer.

WaveNet и аудиомодели

WaveNet^[1] представляет сырой аудиосигнал как последовательность 16‑битных отсчётов и предсказывает следующее значение с помощью наращиваемых (dilated) причинных свёрток, экспоненциально расширяющих рецептивное поле. Условное распределение задаётся дискретной смесью логистических распределений или softmax‑распределением после μ‑законной компандирования. WaveNet нашла применение в синтезе речи (Google Assistant, Amazon Polly) и породила целое семейство высококачественных вокодеров.

Трансформеры как авторегрессионные модели

Архитектура трансформер-декодера стала доминирующим подходом для текстовых и мультимодальных данных. Модель GPT^[1] предсказывает очередной токен на основе всех предыдущих, используя маскированное самовнимание, которое гарантирует, что позиция $t$ может взаимодействовать только с позициями $\leq t$ . Масштабирование этой схемы (GPT‑3, GPT‑4) продемонстрировало появление эмерджентных способностей и стало фундаментом инструктированных и мультимодальных моделей. Image Transformer^[1] адаптировал авторегрессионный Transformer для генерации изображений, а Sparse Transformer^[1] предложил разреженные схемы внимания, снижающие сложность с $O(D^2)$ до $O(D\sqrt{D})$ .

Векторно-квантованные модели

В VQ‑VAE^[1] и её второй версии^[1] автокодировщик сжимает данные в дискретные коды, а поверх них обучается легковесная авторегрессионная модель (PixelCNN или Transformer), генерирующая последовательность индексов кодовой книги. Такой подход резко сокращает размерность авторегрессионного моделирования и лежит в основе таких систем, как DALL‑E и Make‑A‑Scene.

Процесс обучения

Авторегрессионные модели обучаются путём максимизации логарифмического правдоподобия (MLE) по тренировочным данным. Благодаря цепной факторизации все условные распределения $p_\theta(x_t \mid \mathbf{x}_{<t})$ вычисляются параллельно, поскольку во время обучения истинные предыдущие значения известны. Этот режим носит название teacher forcing (учительская подсказка). Нейронная сеть получает на вход всю наблюдаемую историю, а маскирование внутри сети (причинные маски в CNN, треугольные маски внимания в Transformer) предотвращает утечку информации из будущего. Функция потерь за одну эпоху равна $J(\theta) = -\frac{1}{N}\sum_{n=1}^N \sum_{t=1}^{D} \log p_\theta\bigl(x_t^{(n)} \mid \mathbf{x}_{<t}^{(n)}\bigr).$ Оптимизация выполняется вариантами стохастического градиентного спуска (Adam, AdamW). Для непрерывных данных часто используется регуляризация через весовой спад, дропаут и сглаживание меток. В языковых моделях применяется смещение обучения (label smoothing), а также технологии обучения с учителем и RLHF на этапе тонкой настройки.

Проблемой teacher forcing является несоответствие режимов обучения и генерации (exposure bias): на этапе вывода модель вынуждена опираться на собственные сгенерированные значения, а не на истинные, что может приводить к накоплению ошибок. Для смягчения эффекта предложены стратегии с расписанием выборки (scheduled sampling), однако они могут делать обучение смещённым.

Разновидности и модификации

Авторегрессионные потоки — модели, в которых авторегрессионная структура используется для построения композиции обратимых преобразований. MAF (Masked Autoregressive Flow) и IAF (Inverse Autoregressive Flow) позволяют параллельно вычислять правдоподобие и быстро осуществлять вывод соответственно.
Order‑Agnostic AR — модели, не фиксирующие жёсткий порядок генерации, а оперирующие произвольными перестановками (например, обучение на всех возможных порядках с помощью маскирования подмножеств пикселей или токенов).
Авторегрессионные модели со скрытыми переменными — объединение авторегрессионного дешифровщика с латентными представлениями (VQ‑VAE, dVAE), снижающее размерность до разумного уровня.
Многомасштабные авторегрессионные модели — последовательная генерация от грубого разрешения к детальному (например, Subscale Pixel Network).
Энергоэффективные декодирующие стратегии — кэширование промежуточных состояний в Transformer, спекулятивное декодирование, параллельное декодирование через Jacobi итерации, что частично снимает ограничение на скорость вывода.

Преимущества и ограничения

Преимущества

Явное правдоподобие: модель предоставляет точную (несмещённую) оценку плотности, удобную для сравнения и задач сжатия.
Стабильное обучение: в отличие от GAN, не требует минимаксной оптимизации, режим teacher forcing делает ландшафт потерь гладким.
Универсальность: авторегрессионный принцип работает с любыми структурами, которые можно упорядочить — текст, аудио, изображения, видео, табличные данные, молекулярные графы.
Сильная обусловленность: легко включить дополнительную информацию $\mathbf{c}$ , формируя условную модель $p(\mathbf{x} \mid \mathbf{c})$ .

Ограничения

Медленная последовательная генерация: каждый новый элемент требует полного прохода сети, что делает вывод для длинных последовательностей чрезвычайно затратным (особенно для изображений высокого разрешения).
Exposure bias: расхождение между распределением тренировочных и синтетических историй может приводить к дрейфу и накоплению неправдоподобных артефактов.
Жёсткий порядок: качество генерации может зависеть от выбранного направления обхода; естественный порядок не всегда оптимален (например, для изображений в углу накапливается меньше контекста).
Плохое покрытие мод: авторегрессионные модели склонны к завышению вероятностей уже виденных паттернов и могут недооценивать редкие комбинации, особенно при жадно-декодировании или неадекватной температуре сэмплирования.

Современные применения

Большие языковые модели: все модели семейства GPT (GPT-3, GPT-4, GPT-4o), LLaMA, Mistral и множество других используют авторегрессионный декодер для порождения текста, машинного перевода, реферирования, диалога.
Синтез речи и музыки: WaveNet, Tacotron 2, Parallel WaveGAN, Jukebox, MusicLM (в комбинации с авторегрессионным модулем).
Генерация изображений и видео: DALL‑E, DALL‑E 2, CogView, Phenaki используют авторегрессионный Transformer поверх словаря визуальных токенов.
Сжатие данных без потерь: авторегрессионные модели плотности (L3C, IDF) служат энтропийной моделью в арифметическом кодировании, достигая результатов, близких к теоретической границе сжатия.
Прогнозирование временных рядов: DeepAR^[1] и аналоги применяются для вероятностного прогноза спроса, трафика, медицинских показателей.
Научные приложения: генерация молекулярных структур (MolGPT, SMILES‑модели), проектирование белковых последовательностей, моделирование физических систем.

См. также

Примечания

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%B2%D1%82%D0%BE%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C»

@@ Строка 15: / Строка 15: @@
 Первыми глубокими авторегрессионными моделями плотности стали '''NADE''' (Neural Autoregressive Distribution Estimator)<ref>{{статья|автор=Larochelle H., Murray I.|заглавие=The Neural Autoregressive Distribution Estimator|издание=Proceedings of the 14th International Conference on Artificial Intelligence and Statistics (AISTATS)|год=2011|ссылка=https://proceedings.mlr.press/v15/larochelle11a.html}}</ref> и его обобщение '''MADE''' (Masked Autoencoder for Distribution Estimation)<ref>{{статья|автор=Germain M., Gregor K., Murray I., Larochelle H.|заглавие=MADE: Masked Autoencoder for Distribution Estimation|издание=Proceedings of the 32nd International Conference on Machine Learning (ICML)|год=2015|ссылка=https://proceedings.mlr.press/v37/germain15.html}}</ref>, которые с помощью специального маскирования весов полносвязной сети гарантировали свойство авторегрессионности. Переломным моментом стало появление '''PixelRNN''' и '''PixelCNN'''<ref name="pixelrnn">{{статья|автор=van den Oord A., Kalchbrenner N., Kavukcuoglu K.|заглавие=Pixel Recurrent Neural Networks|издание=Proceedings of the 33rd International Conference on Machine Learning (ICML)|год=2016|ссылка=https://proceedings.mlr.press/v48/oord16.html}}</ref>, масштабировавших идею на полноценные изображения. В том же году была представлена '''WaveNet'''<ref name="wavenet">{{статья|автор=van den Oord A., Dieleman S., Zen H. и др.|заглавие=WaveNet: A Generative Model for Raw Audio|издание=arXiv preprint arXiv:1609.03499|год=2016|ссылка=https://arxiv.org/abs/1609.03499}}</ref> — глубокая сверточная авторегрессионная модель для сырого аудио, продемонстрировавшая качество, близкое к человеческой речи.
-Следующей вехой стал [[трансформер (архитектура)|трансформер]]<ref>{{статья|автор=Vaswani A., Shazeer N., Parmar N. и др.|заглавие=Attention Is All You Need|издание=Advances in Neural Information Processing Systems 30 (NeurIPS)|год=2017|ссылка=https://papers.nips.cc/paper/7181-attention-is-all-you-need}}</ref>, декодерная часть которого является авторегрессионной моделью последовательностей с глобальным самовниманием. Архитектура легла в основу семейства '''GPT''' (Generative Pre‑trained Transformer)<ref>{{статья|автор=Radford A., Narasimhan K., Salimans T., Sutskever I.|заглавие=Improving Language Understanding by Generative Pre‑Training|издание=OpenAI technical report|год=2018|ссылка=https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf}}</ref> и привела к появлению [[GPT-3|больших языковых моделей]] с сотнями миллиардов параметров. Параллельно развивались авторегрессионные потоки (MAF, IAF)<ref>{{статья|автор=Papamakarios G., Pavlakou T., Murray I.|заглавие=Masked Autoregressive Flow for Density Estimation|издание=Advances in Neural Information Processing Systems 30 (NeurIPS)|год=2017|ссылка=https://papers.nips.cc/paper/6828-masked-autoregressive-flow-for-density-estimation}}</ref>, объединившие авторегрессионные модели с [[нормализующие потоки|нормализующими потоками]], а также '''VQ‑VAE'''<ref>{{статья|автор=van den Oord A., Vinyals O., Kavukcuoglu K.|заглавие=Neural Discrete Representation Learning|издание=Advances in Neural Information Processing Systems 30 (NeurIPS)|год=2017|ссылка=https://papers.nips.cc/paper/7210-neural-discrete-representation-learning}}</ref>, использующая авторегрессионный приор в дискретном скрытом пространстве.
+Следующей вехой стал [[трансформер (архитектура)|трансформер]]<ref>{{статья|автор=Vaswani A., Shazeer N., Parmar N. и др.|заглавие=Attention Is All You Need|издание=Advances in Neural Information Processing Systems 30 (NeurIPS)|год=2017|ссылка=https://papers.nips.cc/paper/7181-attention-is-all-you-need}}</ref>, декодерная часть которого является авторегрессионной моделью последовательностей с глобальным самовниманием. Архитектура легла в основу семейства '''GPT''' (Generative Pre‑trained Transformer)<ref>{{статья|автор=Radford A., Narasimhan K., Salimans T., Sutskever I.|заглавие=Improving Language Understanding by Generative Pre‑Training|издание=OpenAI technical report|год=2018|ссылка=https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf}}</ref> и привела к появлению [[Большая языковая модель|больших языковых моделей]] с сотнями миллиардов параметров. Параллельно развивались авторегрессионные потоки (MAF, IAF)<ref>{{статья|автор=Papamakarios G., Pavlakou T., Murray I.|заглавие=Masked Autoregressive Flow for Density Estimation|издание=Advances in Neural Information Processing Systems 30 (NeurIPS)|год=2017|ссылка=https://papers.nips.cc/paper/6828-masked-autoregressive-flow-for-density-estimation}}</ref>, объединившие авторегрессионные модели с [[нормализующие потоки|нормализующими потоками]], а также '''VQ‑VAE'''<ref>{{статья|автор=van den Oord A., Vinyals O., Kavukcuoglu K.|заглавие=Neural Discrete Representation Learning|издание=Advances in Neural Information Processing Systems 30 (NeurIPS)|год=2017|ссылка=https://papers.nips.cc/paper/7210-neural-discrete-representation-learning}}</ref>, использующая авторегрессионный приор в дискретном скрытом пространстве.
 == Основные архитектуры ==
@@ Строка 58: / Строка 58: @@
 == Современные применения ==
-* '''[[Большие языковые модели]]''': все модели семейства [[GPT]] ([[GPT-3]], [[GPT-4]], [[GPT-4o]]), [[LLaMA]], [[Mistral]] и множество других используют авторегрессионный декодер для [[порождение текста|порождения текста]], [[перевод|машинного перевода]], [[реферирование|реферирования]], диалога.
+* '''[[Большая языковая модель|Большие языковые модели]]''': все модели семейства [[GPT]] ([[GPT-3]], [[GPT-4]], [[GPT-4o]]), [[LLaMA]], [[Mistral]] и множество других используют авторегрессионный декодер для [[порождение текста|порождения текста]], [[перевод|машинного перевода]], [[реферирование|реферирования]], диалога.
 * '''Синтез речи и музыки''': WaveNet, [[Tacotron 2]], [[Parallel WaveGAN]], [[Jukebox]], [[MusicLM]] (в комбинации с авторегрессионным модулем).
 * '''Генерация изображений и видео''': [[DALL‑E]], [[DALL‑E 2]], [[CogView]], [[Phenaki]] используют авторегрессионный Transformer поверх словаря визуальных токенов.