Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM '''GPT-5.5 Thinking''' и проверена участником [[Участник:Vladimir Garanin|Vladimir Garanin]] 18:37, 29 июня 2026 (MSD)}} '''Автокодировщик''' (англ. ''autoencoder'') — [[нейронная сеть]], обучаемая восстанавливать входной объект на выходе через некоторое внутреннее представление. Обычно автокодировщик состоит из двух частей: '''кодировщика''' (англ. ''encoder''), который переводит объект в скрытое представление, и '''декодировщика''' (англ. ''decoder''), который пытается восстановить исходный объект по этому представлению. Автокодировщики используются для [[Сокращение размерности|сокращения размерности]], извлечения признаков, шумоподавления, обнаружения аномалий и построения генеративных моделей. Их важная особенность состоит в том, что модель обучается не по внешним меткам классов, а по задаче восстановления самого входа. == Общая архитектура == Пусть объект <tex>x</tex> подаётся на вход нейронной сети. Кодировщик строит скрытое представление: :: <tex>z = f_\theta(x),</tex> где <tex>z</tex> — код, или латентное представление, а <tex>\theta</tex> — параметры кодировщика. Затем декодировщик восстанавливает объект: :: <tex>\hat{x} = g_\phi(z) = g_\phi(f_\theta(x)),</tex> где <tex>\phi</tex> — параметры декодировщика. Обучение сводится к минимизации ошибки восстановления: :: <tex>\min_{\theta,\phi} \sum_{i=1}^{n} L(x_i, g_\phi(f_\theta(x_i))).</tex> Здесь <tex>L</tex> — функция потерь, измеряющая отличие исходного объекта от восстановленного. Для вещественных данных часто используется среднеквадратичная ошибка: :: <tex>L(x,\hat{x}) = ||x-\hat{x}||_2^2.</tex> Для бинарных или нормированных данных, например изображений с пикселями в диапазоне от 0 до 1, может применяться [[Кросс-энтропия|бинарная кросс-энтропия]]. == Узкое горлышко == Классический автокодировщик содержит '''узкое горлышко''' (англ. ''bottleneck'') — скрытое представление меньшей размерности, чем входной объект: :: <tex>k < d.</tex> Если модель вынуждена восстановить объект после сжатия в пространство меньшей размерности, она не может просто скопировать вход. Ей приходится сохранять в коде наиболее существенную информацию о данных. Например, если автокодировщик обучается на изображениях рукописных цифр, его скрытое представление может не хранить каждый пиксель буквально, а кодировать более общие свойства: форму штриха, наклон, толщину линии, положение цифры в кадре. Однако одного узкого горлышка не всегда достаточно. Слишком мощный декодировщик может научиться восстанавливать данные по неустойчивым или плохо интерпретируемым признакам. Поэтому на практике часто используют дополнительные ограничения и регуляризацию. == Линейный автокодировщик и метод главных компонент == Если кодировщик и декодировщик являются линейными отображениями, функция потерь — среднеквадратичная ошибка, а размерность скрытого представления меньше размерности входа, то автокодировщик тесно связан с [[Метод главных компонент|методом главных компонент]]. В таком случае модель фактически учится проецировать данные на низкоразмерное линейное подпространство, из которого можно с минимальной ошибкой восстановить исходные объекты. При подходящих ограничениях это подпространство совпадает с пространством, натянутым на первые главные компоненты. Нелинейные автокодировщики обобщают эту идею: вместо линейного подпространства они могут изучать более сложное низкоразмерное многообразие, на котором сосредоточены данные. == Недополный и переполный автокодировщики == '''Недополный автокодировщик''' (англ. ''undercomplete autoencoder'') имеет скрытое представление меньшей размерности, чем вход: :: <tex>\dim z < \dim x.</tex> Такой автокодировщик вынужден сжимать информацию и поэтому может использоваться для сокращения размерности. '''Переполный автокодировщик''' (англ. ''overcomplete autoencoder'') имеет скрытое представление той же или большей размерности, чем вход: :: <tex>\dim z \geq \dim x.</tex> Без дополнительных ограничений такая модель может выучить почти тождественное отображение и не получить полезного представления. Чтобы избежать этого, применяют регуляризацию: разреженность, добавление шума, штрафы на чувствительность или ограничения на распределение латентных кодов. == Разреженный автокодировщик == '''Разреженный автокодировщик''' (англ. ''sparse autoencoder'') обучается так, чтобы большая часть компонент скрытого представления была близка к нулю. Это достигается добавлением регуляризатора к функции потерь: :: <tex>\min_{\theta,\phi} \sum_{i=1}^{n} L(x_i,\hat{x}_i) + \lambda R(z_i).</tex> Здесь <tex>R(z_i)</tex> штрафует слишком активные скрытые признаки. Обычно используются <tex>L_1</tex>-регуляризация или штраф на отличие средней активности нейрона от заданного малого значения. Интуитивно разреженность заставляет модель кодировать объект небольшим числом активных признаков. Это может улучшать интерпретируемость представления и уменьшать риск простого копирования входа. == Шумоподавляющий автокодировщик == '''Шумоподавляющий автокодировщик''' (англ. ''denoising autoencoder'') обучается восстанавливать исходный объект <tex>x</tex> не по самому <tex>x</tex>, а по его искажённой версии <tex>\tilde{x}</tex><ref>Vincent, P., Larochelle, H., Bengio, Y., Manzagol, P.-A. Extracting and Composing Robust Features with Denoising Autoencoders. ''Proceedings of ICML'', 2008.</ref>. Искажённый объект можно записать как :: <tex>\tilde{x} \sim q(\tilde{x}|x).</tex> После этого автокодировщик строит восстановление: :: <tex>\hat{x} = g_\phi(f_\theta(\tilde{x})).</tex> Функция потерь сравнивает восстановление не с зашумлённым входом, а с чистым объектом: :: <tex>L(x, g_\phi(f_\theta(\tilde{x}))).</tex> Например, если на изображение добавляется шум, автокодировщик должен восстановить исходное изображение. Такая постановка препятствует простому копированию входа и заставляет модель изучать устойчивые признаки данных. С геометрической точки зрения шумоподавляющий автокодировщик можно понимать как модель, которая учится возвращать искажённые объекты обратно к области высокой плотности данных. == Сжимающий автокодировщик == '''Сжимающий автокодировщик''' (англ. ''contractive autoencoder'') добавляет штраф за чувствительность скрытого представления к малым изменениям входа. Обычно используется регуляризация нормы матрицы Якоби кодировщика: :: <tex>||J_f(x)||_F^2.</tex> Здесь <tex>J_f(x)</tex> — матрица Якоби отображения <tex>f_\theta</tex> в точке <tex>x</tex>. Такой штраф заставляет кодировщик отображать близкие объекты в близкие скрытые представления и делает модель более устойчивой к малым возмущениям. == Вариационный автокодировщик == '''Вариационный автокодировщик''' (англ. ''variational autoencoder'', VAE) — вероятностная генеративная модель, внешне похожая на автокодировщик, но имеющая другую математическую постановку<ref>Kingma, D. P., Welling, M. Auto-Encoding Variational Bayes. ''International Conference on Learning Representations'', 2014.</ref>. В обычном автокодировщике код <tex>z</tex> является детерминированной функцией входа. В VAE кодировщик задаёт параметры распределения скрытой переменной: :: <tex>q_\phi(z|x).</tex> Чаще всего используется нормальное распределение с параметрами, зависящими от входного объекта. Декодировщик, в свою очередь, задаёт распределение наблюдаемого объекта при заданном скрытом коде: :: <tex>p_\theta(x|z).</tex> Обучение VAE основано на максимизации вариационной нижней оценки логарифма правдоподобия: :: <tex>{\cal L}(\theta,\phi;x) = E_{q_\phi(z|x)}[\log p_\theta(x|z)] - D_{\rm KL}(q_\phi(z|x), p(z)).</tex> Первое слагаемое отвечает за качество восстановления, второе заставляет распределение кодов быть близким к заранее выбранному априорному распределению <tex>p(z)</tex>, обычно стандартному нормальному. Благодаря этому VAE можно использовать не только для восстановления объектов, но и для генерации новых: достаточно взять случайный скрытый код из априорного распределения и пропустить его через декодировщик. == Обнаружение аномалий == Автокодировщики часто применяются для обнаружения аномалий. Модель обучают на нормальных объектах, после чего измеряют ошибку восстановления новых объектов: :: <tex>r(x) = ||x - \hat{x}||.</tex> Если объект похож на обучающие данные, автокодировщик обычно восстанавливает его хорошо. Если объект необычен, ошибка восстановления может оказаться большой. Поэтому объекты с большим <tex>r(x)</tex> рассматриваются как потенциальные аномалии. Такой подход применяется в промышленной диагностике, анализе сетевого трафика, финансовом мониторинге и поиске дефектов на изображениях. Однако большая ошибка восстановления не всегда означает настоящую аномалию: она может быть вызвана шумом, изменением условий измерения или недостаточным качеством обучения. == Применения == Автокодировщики используются в разных задачах анализа данных: * [[Сокращение размерности]] — построение компактных представлений объектов; * [[Извлечение признаков]] — получение признаков для последующей классификации или кластеризации; * шумоподавление изображений, аудио и сигналов; * восстановление повреждённых или частично скрытых данных; * обнаружение аномалий по ошибке реконструкции; * предварительное обучение глубоких сетей; * генерация объектов в вариационных и других генеративных моделях. Исторически автокодировщики сыграли важную роль в развитии глубокого обучения. В частности, глубокие автокодировщики использовались для сокращения размерности данных и предварительного обучения нейронных сетей<ref>Hinton, G. E., Salakhutdinov, R. R. Reducing the Dimensionality of Data with Neural Networks. ''Science'', 2006, Vol. 313, No. 5786, pp. 504–507.</ref>. == Ограничения == Автокодировщик не гарантирует, что найденное скрытое представление будет интерпретируемым. Модель может хорошо восстанавливать данные, но хранить информацию в коде способом, неудобным для человека. Другой риск связан с чрезмерной мощностью модели. Если архитектура слишком выразительна и не имеет достаточных ограничений, автокодировщик может научиться почти копировать вход, не выделяя полезных закономерностей. При обнаружении аномалий также возможна ошибка: автокодировщик иногда хорошо восстанавливает не только нормальные, но и аномальные объекты, особенно если декодировщик достаточно мощный. Поэтому ошибку реконструкции следует рассматривать как эвристику, а не как строгий критерий необычности. Наконец, автокодировщик оптимизирует качество восстановления, а не качество решения конечной задачи. Представление, хорошее для реконструкции, не всегда является лучшим для классификации, прогнозирования или интерпретации данных. == См. также == * [[Нейронная сеть]] * [[Метод обратного распространения ошибки]] * [[Сокращение размерности]] * [[Метод главных компонент]] * [[Извлечение признаков]] * [[Обнаружение аномалий]] * [[Глубокое обучение]] * [[Генеративная модель]] == Литература == <references/> * Rumelhart, D. E., Hinton, G. E., Williams, R. J. Learning representations by back-propagating errors. ''Nature'', 1986, Vol. 323, pp. 533–536. * Hinton, G. E., Salakhutdinov, R. R. Reducing the Dimensionality of Data with Neural Networks. ''Science'', 2006, Vol. 313, No. 5786, pp. 504–507. * Vincent, P., Larochelle, H., Bengio, Y., Manzagol, P.-A. Extracting and Composing Robust Features with Denoising Autoencoders. ''Proceedings of ICML'', 2008. * Vincent, P., Larochelle, H., Lajoie, I., Bengio, Y., Manzagol, P.-A. Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion. ''Journal of Machine Learning Research'', 2010, Vol. 11, pp. 3371–3408. * Kingma, D. P., Welling, M. Auto-Encoding Variational Bayes. ''International Conference on Learning Representations'', 2014. [[Категория:Нейронные сети]] [[Категория:Глубокое обучение]] [[Категория:Обучение без учителя]] [[Категория:Сокращение размерности]] [[Категория:Энциклопедия анализа данных]]

Возврат к странице Автокодировщик.