Обучаемая векторизация данных

Материал из MachineLearning.

(Различия между версиями)

Версия 15:42, 1 июля 2026

Обучаемая векторизация данных (англ. representation learning, learning representations) — построение параметрического отображения, которое преобразует исходный объект в числовое признаковое представление и настраивается по данным вместе с решением прикладной задачи.

Пусть объект $x\in X$ может быть изображением, текстом, звуковым сигналом, графом или другим сложно структурированным объектом. Обучаемая векторизация задаётся отображением

$\varphi(x;\theta)=z,\qquad z\in\mathbb{R}^d,$

где $\theta$ — обучаемые параметры, а $z$ — векторное представление объекта.

Поверх полученного представления строится модель

$g(z;\omega),$

решающая задачу классификации, регрессии, ранжирования, генерации или поиска. Полная модель имеет вид

$a(x;\theta,\omega) = g\bigl(\varphi(x;\theta);\omega\bigr).$

В классическом машинном обучении признаки часто задаются человеком заранее. При обучаемой векторизации параметры преобразования $\varphi$ определяются автоматически из данных. Благодаря этому модель может самостоятельно находить признаки, полезные для заданного критерия качества.

Содержание

1 Векторизация и признаковое описание
2 Классический и сквозной подходы
3 Обучаемое представление в нейронной сети
4 Почему промежуточное представление полезно
5 Иерархия представлений
6 Связь с глубиной нейронной сети
7 Желательные свойства представления
- 7.1 Информативность
- 7.2 Компактность
- 7.3 Инвариантность
- 7.4 Эквивариантность
- 7.5 Разделимость
- 7.6 Устойчивость
- 7.7 Переносимость
8 Способы обучения представлений
- 8.1 Обучение с учителем
- 8.2 Автокодирование
- 8.3 Самостоятельное обучение
- 8.4 Контрастивное обучение
- 8.5 Метрическое обучение
- 8.6 Многозадачное обучение
9 Представления изображений
10 Представления текста
11 Представления графов
12 Представления разных модальностей
13 Обучаемая векторизация и Embedding
14 Предварительное обучение и перенос
15 Оценивание качества представлений
- 15.1 Линейное оценивание
- 15.2 Дообучение
- 15.3 Поиск ближайших соседей
- 15.4 Перенос между наборами данных
- 15.5 Диагностические задачи
16 Вырождение представлений
17 Ложные признаки и короткие пути
18 Утечка информации
19 Неоднозначность представлений
20 Ограничения
21 Философская интерпретация
22 Заключение
23 См. также
24 Литература

Векторизация и признаковое описание

Большинство алгоритмов машинного обучения работают не непосредственно с объектами реального мира, а с их числовыми описаниями.

Объекту $x$ ставится в соответствие набор признаков:

$f(x)=\bigl(f_1(x),\ldots,f_n(x)\bigr).$

Например, изображение можно описать яркостью пикселей, контурами, цветовыми гистограммами или геометрическими характеристиками. Документ можно описать частотами слов, а вершину графа — свойствами самой вершины и её соседей.

Такое преобразование называют векторизацией. Однако следует различать два случая.

Фиксированная векторизация задаётся до обучения основной модели:

$x \mapsto f(x).$

Параметры классификатора или регрессии обучаются, но само описание $f(x)$ остаётся неизменным.

Обучаемая векторизация содержит параметры:

$x \mapsto \varphi(x;\theta).$

Эти параметры настраиваются по данным. Изменение функции потерь влияет не только на итоговый классификатор, но и на то, какие признаки будут выделяться из исходного объекта.

Обучаемая векторизация не обязательно уменьшает размерность данных. Пространство представлений может иметь меньшую, равную или большую размерность по сравнению с исходным описанием. Существенно не число координат само по себе, а информация, которую они кодируют.

Классический и сквозной подходы

Классический конвейер распознавания можно представить в виде последовательности:

$x \to{} f(x) \to{} a(f(x);w),$

где преобразование $f$ разрабатывается отдельно от модели $a$ .

Например, система распознавания изображений могла включать:

удаление шума;
выделение контуров;
поиск характерных точек;
вычисление геометрических дескрипторов;
обучение классификатора по полученным признакам.

Каждый этап создавался и настраивался отдельно. Такой подход позволяет явно использовать знания предметной области, но качество всей системы существенно зависит от того, насколько удачно были выбраны признаки.

В глубоком обучении часто применяется сквозная, или end-to-end, схема:

$x \to{} \varphi(x;\theta) \to{} g(\varphi(x;\theta);\omega) \to{} \widehat{y}.$

Параметры всех этапов оптимизируются по единой функции потерь:

$Q(\theta,\omega)=\frac{1}{\ell}\sum_{i=1}^{\ell}L\left(g(\varphi(x_i;\theta);\omega),y_i\right)+\tau R(\theta,\omega).$

Здесь $L$ — функция потерь, $R$ — регуляризатор, а $\tau$ — коэффициент регуляризации.

Сквозное обучение не означает полного отсутствия предварительной обработки или априорных предположений. Они переносятся в архитектуру сети, способ разбиения данных, функцию потерь, аугментации и другие элементы процедуры обучения.

Например, свёрточная архитектура заранее предполагает, что локальные закономерности могут встречаться в разных частях изображения. Поэтому обучаемая векторизация не устраняет инженерные решения, а изменяет их уровень: вместо ручного задания конкретных признаков исследователь задаёт структуру пространства, в котором эти признаки будут обучаться.

Обучаемое представление в нейронной сети

Пусть полносвязная нейронная сеть состоит из $L$ слоёв:

$x^0=x,$

$x^l= \sigma^l\left( W^l x^{l-1}+b^l \right), \qquad l=1,\ldots,L.$

Каждый промежуточный вектор $x^l$ является новым представлением исходного объекта. Его координаты вычисляются не вручную, а определяются весами $W^l$ , смещениями $b^l$ и функциями активации $\sigma^l$ .

Например, представлением объекта перед выходным классификатором может служить

$z=x^{L-1}.$

Тогда последний слой выполняет сравнительно простое преобразование:

$a(x)=W^Lz+b^L.$

При обучении ошибка выхода распространяется через все слои методом обратного распространения ошибки. Градиент по параметрам векторизатора имеет вид

$\frac{\partial L}{\partial\theta} = \frac{\partial L}{\partial z} \frac{\partial\varphi(x;\theta)}{\partial\theta}.$

Таким образом, признаки изменяются в направлении, уменьшающем ошибку итоговой задачи.

Почему промежуточное представление полезно

Исходное пространство данных может быть неудобным для построения простой модели.

Например, два изображения одного объекта могут существенно различаться по значениям пикселей из-за:

сдвига;
поворота;
освещения;
масштаба;
фона;
положения камеры.

В пространстве пикселей расстояние между ними может быть большим. Задача векторизатора состоит в том, чтобы преобразовать их в представления, в которых значимые для задачи свойства становятся более доступными.

После преобразования сложная зависимость

$x \to{} y$

может приближённо сводиться к более простой зависимости

$z \to{} y,\quad z=\varphi(x;\theta).$

Например, классы, не разделимые линейной поверхностью в исходном пространстве, могут стать линейно разделимыми в пространстве обученных представлений.

Следовательно, глубокая модель обучает не только правило принятия решения. Она одновременно обучает систему координат, в которой это решение становится проще.

Иерархия представлений

Глубокая нейронная сеть строит последовательность представлений:

$x^0 \rightarrow{} x^1 \rightarrow{} x^2 \rightarrow{} \ldots \rightarrow{} x^L.$

Каждый слой использует признаки предыдущего слоя и создаёт признаки следующего уровня.

В задачах обработки изображений ранние слои свёрточных сетей часто реагируют на локальные изменения яркости, края и текстуры. Более поздние слои могут кодировать сочетания частей объектов и признаки, непосредственно связанные с целевыми классами.

Это описание не является строгим законом. Конкретный смысл координат зависит от архитектуры, данных, функции потерь и способа обучения. Нельзя автоматически считать, что каждый следующий слой соответствует более «абстрактному» человеческому понятию.

Тем не менее композиционная структура даёт сети возможность многократно преобразовывать данные и повторно использовать ранее найденные закономерности.

Связь с глубиной нейронной сети

Теоремы об универсальной аппроксимации показывают, что сеть с одним скрытым слоем и достаточным числом нейронов может приближать широкий класс функций. Однако из этого не следует, что неглубокая сеть всегда является вычислительно эффективной или легко обучаемой.

Глубокая сеть может представлять функцию как композицию более простых преобразований:

$a(x)=g_L \circ{} g_{L-1} \circ{} \ldots{} \circ{} g_1(x).$

Если структура задачи также является композиционной, такое представление может потребовать меньше параметров, чем попытка выразить всю зависимость одним широким слоем.

Глубина важна не только как способ увеличить число параметров. Она задаёт число последовательных этапов преобразования представлений.

При этом увеличение глубины само по себе не гарантирует хорошего результата. Слишком глубокая или плохо спроектированная сеть может испытывать затухание градиентов, численную неустойчивость и переобучение. Для обучения глубоких представлений применяются функции активации ReLU, нормализация, остаточные связи, подходящая инициализация и регуляризация.

Желательные свойства представления

Не существует единственного представления, оптимального для всех задач. Его качество определяется целью, для которой оно строится.

Информативность

Представление должно сохранять сведения, необходимые для решения целевой задачи.

В идеальном случае условное распределение ответа после векторизации почти не теряет информации:

$P(y \mid{} x) \approx{} P(y \mid{} \varphi(x)).$

При этом представление может удалять свойства объекта, не влияющие на ответ.

Компактность

Полезная информация должна быть выражена сравнительно небольшим числом координат или простой структурой зависимостей.

Компактность облегчает обучение последующих моделей, хранение представлений и поиск похожих объектов. Однако чрезмерное сжатие может удалить важную информацию.

Инвариантность

Если преобразование объекта не меняет его смысл для задачи, желательно, чтобы представление изменялось мало:

$\varphi(Tx) \approx \varphi(x).$

Для классификации изображений такими преобразованиями могут быть небольшие изменения освещения или положения объекта.

Инвариантность полезна только относительно действительно несущественных изменений. Если направление объекта или порядок слов влияют на ответ, удаление этой информации ухудшит модель.

Эквивариантность

Иногда требуется не игнорировать преобразование, а предсказуемо отражать его в представлении:

$\varphi(Tx) = T'\varphi(x).$

Например, при сдвиге изображения пространственная карта признаков может сдвигаться соответствующим образом. Такое свойство называется эквивариантностью.

Разделимость

Объекты разных классов должны быть различимы, а близкие по смыслу объекты — иметь близкие представления.

Для линейного классификатора полезно, чтобы целевые классы становились линейно разделимыми в пространстве $z$ .

Устойчивость

Небольшое допустимое изменение входа не должно вызывать неконтролируемого скачка представления:

$\|x-x'\|\text{ мало} \quad\Rightarrow\quad \|\varphi(x)-\varphi(x')\|\text{ мало}.$

Это требование зависит от выбранного понятия близости. Два изображения могут быть близкими по пикселям, но иметь различный смысл, либо сильно различаться по пикселям и изображать один объект.

Переносимость

Представление считается переносимым, если оно полезно не только для задачи, на которой обучалось, но и для новых задач.

Переносимость особенно важна при предварительном обучении крупных моделей на больших наборах данных с последующим дообучением на небольших специализированных выборках.

Способы обучения представлений

Обучение с учителем

При обучении с учителем векторизатор настраивается по известным ответам $y_i$ :

$\frac{1}{\ell} \sum_{i=1}^{\ell} L\left( g(\varphi(x_i;\theta);\omega), y_i \right) \rightarrow \min_{\theta,\omega}.$

Такое представление обычно хорошо приспособлено к конкретной целевой переменной. Однако оно может удалять сведения, которые не нужны данной задаче, но могли бы быть полезны в других задачах.

Например, сеть для различения кошек и собак может не сохранять информацию о породе, возрасте или фоне изображения.

Автокодирование

Автокодировщик состоит из кодировщика

$z=\varphi(x;\theta)$

и декодировщика

$\widehat x=\psi(z;\omega).$

Параметры обучаются восстанавливать вход:

$\sum_{i=1}^{\ell} L\left( \psi(\varphi(x_i;\theta);\omega), x_i \right) \rightarrow \min_{\theta,\omega}.$

Если пространство $z$ ограничено или к модели добавлена регуляризация, кодировщик вынужден выделять устойчивые закономерности данных.

Простое копирование входа не создаёт полезного представления. Поэтому применяются узкие скрытые слои, шум во входных данных, разреживание, вероятностные ограничения и другие способы предотвращения тривиального решения.

Самостоятельное обучение

При самостоятельном обучении целевые ответы строятся автоматически из самих данных.

Примеры вспомогательных задач:

восстановление скрытых частей объекта;
предсказание следующего элемента последовательности;
предсказание контекста слова;
определение взаимного расположения фрагментов;
восстановление одной модальности по другой;
сравнение различных преобразований одного объекта.

Такое обучение позволяет использовать большие объёмы неразмеченных данных. Полученный векторизатор затем применяется в задачах с небольшим числом размеченных примеров.

Контрастивное обучение

В контрастивном обучении задаются положительные и отрицательные пары.

Положительная пара содержит разные представления одного объекта или семантически связанных объектов. Отрицательная пара содержит объекты, которые требуется различать.

Один из вариантов контрастивной функции потерь имеет вид

$L_i= -\ln \frac{ \exp\left(s(z_i,z_i^+)/T\right) }{ \exp\left(s(z_i,z_i^+)/T\right) + \sum_j \exp\left(s(z_i,z_j^-)/T\right) },$

где $s$ — мера сходства, $T$ — температурный параметр, $z_i^+$ — положительный пример, а $z_j^-$ — отрицательные примеры.

Критически важным является способ формирования пар. Если две аугментации одного изображения считаются положительной парой, модель обучается быть инвариантной к этим аугментациям.

Следовательно, выбор преобразований фактически определяет, какие свойства объекта будут считаться существенными.

Метрическое обучение

При метрическом обучении непосредственно формируется геометрия пространства представлений.

Для тройки

$(x_a,x_p,x_n),$

где $x_a$ — опорный объект, $x_p$ — похожий объект, а $x_n$ — непохожий, можно использовать тройную функцию потерь:

$L= \max\left\{ 0,\, d(z_a,z_p)-d(z_a,z_n)+m \right\}.$

Параметр $m$ задаёт требуемый зазор между положительной и отрицательной парами.

Такие представления применяются в поиске изображений, распознавании лиц, рекомендательных системах и идентификации объектов.

Многозадачное обучение

Если один векторизатор используется в нескольких задачах, общий критерий может иметь вид

$Q(\theta,\omega_1,\ldots,\omega_K) = \sum_{k=1}^{K} \lambda_k Q_k(\theta,\omega_k).$

Общая часть сети вынуждена находить признаки, полезные одновременно для нескольких целей. Это может повысить переносимость представления, но конфликтующие задачи способны мешать друг другу.

Представления изображений

В классическом компьютерном зрении признаки часто проектировались вручную. Использовались контуры, углы, локальные дескрипторы и гистограммы направлений градиентов.

В свёрточной нейронной сети векторизация обучается из изображений:

$z=\varphi_{\mathrm{CNN}}(x;\theta).$

Свёрточные слои используют локальность и совместное применение одних весов в разных участках изображения. Это уменьшает число параметров и задаёт полезное индуктивное предположение о пространственной структуре данных.

Выходом векторизатора может быть:

единый вектор изображения;
пространственная карта признаков;
набор векторов для отдельных областей;
представления объектов, найденных на изображении.

Поэтому термин «векторизация» не всегда означает получение ровно одного вектора. В более общем смысле результатом может быть матрица или тензор признаков.

Представления текста

Простейшее векторное представление текста — частотный вектор слов. Он не обучается совместно с задачей и почти не учитывает порядок слов.

Обучаемое вложение сопоставляет каждому элементу словаря вектор:

$j\longmapsto e_j\in\mathbb{R}^d.$

Матрица вложений

$E\in\mathbb{R}^{V\times d}$

содержит по одному вектору для каждого из $V$ элементов словаря.

Статическое вложение назначает слову один и тот же вектор во всех контекстах. Контекстный векторизатор вычисляет представление слова с учётом окружающей последовательности:

$z_t= \varphi(x_1,\ldots,x_T;t).$

Поэтому одинаковое слово в разных предложениях может иметь разные представления.

Архитектуры рекуррентных сетей и трансформеров строят последовательность контекстных векторов. Для классификации документа они могут агрегироваться в единый вектор, а для перевода, разметки или генерации обрабатываться по отдельности.

Представления графов

Для графа $G=(V,E)$ требуется учитывать свойства вершин и структуру связей.

Графовая нейронная сеть строит представления вершин путём обмена сообщениями с соседями:

$h_v^{l+1} = F\left( h_v^l,\, \operatorname{AGG} \{h_u^l:u\in N(v)\} \right).$

Здесь $N(v)$ — множество соседей вершины $v$ , а $\operatorname{AGG}$ — операция агрегирования.

После нескольких слоёв вектор вершины содержит информацию о некоторой окрестности. Векторы вершин могут использоваться непосредственно либо агрегироваться в представление всего графа.

Такие методы применяются для молекул, социальных сетей, рекомендательных систем и графов знаний.

Представления разных модальностей

Мультимодальная модель может отображать изображения, тексты, звук и другие типы данных в согласованное пространство:

$z_{\mathrm{image}}= \varphi_{\mathrm{image}}(x),$

$z_{\mathrm{text}}= \varphi_{\mathrm{text}}(t).$

Если изображение и его описание относятся к одному содержанию, обучение сближает их представления. Благодаря этому становится возможным искать изображения по тексту, сопоставлять данные разных типов и переносить сведения между модальностями.

Общее пространство не означает, что все свойства модальностей становятся одинаковыми. Оно кодирует прежде всего те отношения, которые поддерживаются обучающим критерием.

Обучаемая векторизация и Embedding

Термины близки, но не полностью взаимозаменяемы.

Embedding обычно называют вектор, соответствующий отдельному объекту, токену, вершине или категории. Он может храниться непосредственно в таблице параметров или вычисляться моделью.

Обучаемая векторизация — более широкое понятие. Она включает весь параметрический процесс преобразования исходных данных в признаки:

$x\longmapsto\varphi(x;\theta).$

Например:

строка матрицы словарных вложений является embedding;
последовательность слоёв трансформера является обучаемым векторизатором;
контекстный вектор слова на выходе трансформера является embedding;
свёрточная сеть до классификационной головы является векторизатором изображения.

Таким образом, embedding является результатом или частным механизмом обучаемой векторизации.

Предварительное обучение и перенос

Векторизатор можно сначала обучить на большой исходной выборке, а затем использовать в другой задаче.

Пусть предварительно получены параметры $\theta_0$ . Возможны несколько режимов применения.

Фиксация векторизатора:

$z_i=\varphi(x_i;\theta_0),$

после чего обучается только новая модель $g(z;\omega)$ .

Частичное дообучение: изменяются только последние слои векторизатора.

Полное дообучение: совместно обновляются $\theta$ и $\omega$ .

Фиксация параметров требует меньше данных и вычислений, но ограничивает адаптацию. Полное дообучение более гибко, однако может привести к переобучению или разрушению полезных свойств исходного представления.

Оценивание качества представлений

Представление нельзя полноценно оценить только по виду его координат. Обычно проверяется, насколько хорошо оно работает в последующих задачах.

Линейное оценивание

Векторизатор фиксируется, а поверх него обучается линейная модель:

$a(x)=W\varphi(x)+b.$

Высокое качество линейного классификатора означает, что необходимая информация доступна в сравнительно простой форме.

Однако линейное оценивание не измеряет все свойства представления. Информация может присутствовать в $z$ , но быть нелинейно закодированной.

Дообучение

Векторизатор дообучается на новой задаче. Оценивается итоговое качество и количество данных, необходимое для его достижения.

Полезное представление обычно позволяет быстрее адаптироваться и требует меньше размеченных примеров.

Поиск ближайших соседей

Для каждого объекта находятся ближайшие представления по косинусному или евклидову расстоянию. Затем анализируется, соответствуют ли геометрически близкие точки семантически похожим объектам.

Результат существенно зависит от выбранной метрики и нормировки векторов.

Перенос между наборами данных

Модель обучается на одном распределении и проверяется на другом. Такой эксперимент показывает, насколько признаки зависят от конкретной выборки, фона, устройства записи и других побочных факторов.

Диагностические задачи

Из представления пытаются предсказать отдельные свойства исходного объекта. Это позволяет выяснить, какая информация сохранилась в векторе.

Наличие информации ещё не означает, что основная модель фактически использует её при принятии решения.

Вырождение представлений

Некоторые критерии допускают тривиальное решение

$\varphi(x)=c$

для всех объектов $x$ . Все представления становятся одинаковыми, а полезная информация исчезает. Это явление называют коллапсом представлений.

Для предотвращения коллапса применяют:

отрицательные примеры;
предсказание различных частей объекта;
ограничения на дисперсию координат;
асимметричные архитектуры;
остановку градиента в одной из ветвей;
реконструкцию исходных данных;
нормировку и дополнительные регуляризаторы.

Само отсутствие численной расходимости не гарантирует, что модель выучила содержательное представление.

Ложные признаки и короткие пути

Векторизатор оптимизирует заданную функцию потерь, а не человеческое понимание объекта. Поэтому он может использовать закономерность, которая формально помогает на обучающей выборке, но не соответствует предполагаемой причине.

Например, классификатор изображений может определять класс по фону, водяному знаку или особенностям камеры. Такие признаки называют короткими путями, или shortcuts.

На исходной тестовой выборке модель может показывать высокое качество, если побочная закономерность сохраняется. После изменения условий она перестаёт работать.

Для обнаружения коротких путей применяют:

проверку на внешних данных;
целенаправленное изменение фона и стиля;
контрфактические примеры;
анализ ошибок по подгруппам;
удаление подозрительных признаков;
обучение на более разнообразных данных.

Утечка информации

Утечка возникает, если при построении представления используется информация, недоступная в момент реального применения.

Например, вектор временного объекта не должен включать сведения из будущего. Представление пациента для прогнозирования диагноза не должно использовать результаты исследования, выполненного после постановки диагноза.

Утечка может появиться не только в исходных признаках, но и при:

предварительном обучении на тестовых данных;
нормировке по всей выборке;
построении словаря до разделения данных;
выборе аугментаций с учётом тестовых ответов;
подборе модели по тестовой метрике.

Модель с утечкой часто демонстрирует высокое экспериментальное качество, которое не воспроизводится в реальной эксплуатации.

Неоднозначность представлений

Координаты обученного вектора обычно не имеют единственной обязательной интерпретации.

Пусть линейный выход модели равен

$Wz.$

Для обратимой матрицы $A$ можно заменить представление на

$z'=Az$

и одновременно заменить выходную матрицу на

$W'=WA^{-1}.$

Тогда

$W'z'=Wz.$

Предсказания останутся теми же, хотя отдельные координаты представления изменятся.

Поэтому нейрон с конкретным номером не обязательно соответствует единственному человеческому понятию. Интерпретация должна учитывать возможные вращения, масштабирования и другие преобразования пространства.

Ограничения

Обучаемая векторизация обладает рядом ограничений.

Качество признаков зависит от обучающей выборки.
Представление оптимизируется под заданную функцию потерь и может игнорировать другие свойства.
Большая размерность вектора не гарантирует высокой информативности.
Близость в пространстве представлений зависит от выбранного критерия обучения.
Представление может кодировать нежелательные корреляции и систематические смещения.
Координаты вектора часто трудно интерпретировать.
При изменении распределения данных полезность представления может уменьшаться.
Для обучения сложных векторизаторов могут требоваться большие вычислительные ресурсы.
Векторы способны сохранять конфиденциальную информацию об исходных данных.

Следовательно, обучаемая векторизация не является автоматическим извлечением «истинных» свойств объекта. Она создаёт представление, полезное относительно определённых данных, архитектуры и цели.

Философская интерпретация

В классическом подходе исследователь сначала решает, какими признаками описывать объект, а затем обучает модель по этим признакам. В глубоком обучении часть выбора признакового языка передаётся алгоритму.

Можно сказать, что модель обучает не только ответ, но и способ восприятия данных.

Однако этот способ восприятия не является нейтральным. Он определяется:

доступными наблюдениями;
функцией потерь;
архитектурой модели;
аугментациями;
правилами формирования пар;
ограничениями и регуляризаторами.

Поэтому обученное представление является операциональным: оно выделяет свойства, помогающие выполнять заданную процедуру. Из успешности модели не следует, что её внутренние координаты совпадают с естественными категориями мира или человеческими понятиями.

Обучаемая векторизация сокращает объём ручного проектирования признаков, но не отменяет постановку задачи. Напротив, выбор критерия обучения становится способом определить, какую информацию модель будет считать значимой.

Заключение

Обучаемая векторизация данных — один из основных принципов глубокого обучения. Исходный сложно структурированный объект преобразуется параметрической моделью в числовое представление, пригодное для классификации, регрессии, поиска, генерации и других задач.

В многослойной нейронной сети каждый скрытый слой создаёт новое представление. Метод обратного распространения ошибки позволяет настраивать эти представления по итоговому критерию качества.

Полезный вектор должен сохранять целевую информацию, отбрасывать несущественные изменения и обеспечивать удобную геометрию для последующей модели. При этом качество представления всегда зависит от задачи: универсально лучшего признакового пространства не существует.

Обучаемая векторизация не просто заменяет ручные признаки автоматическими. Она объединяет выделение признаков и принятие решения в единую оптимизационную задачу. Именно эта возможность стала одной из главных причин практического успеха глубоких нейронных сетей.

См. также

Литература

Rumelhart D. E., Hinton G. E., Williams R. J. Learning representations by back-propagating errors // Nature. — 1986. — Т. 323. — С. 533—536.

LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based Learning Applied to Document Recognition // Proceedings of the IEEE. — 1998. — Т. 86. — № 11. — С. 2278—2324.

Hinton G. E., Salakhutdinov R. R. Reducing the Dimensionality of Data with Neural Networks // Science. — 2006. — Т. 313. — № 5786. — С. 504—507.

Bengio Y., Courville A., Vincent P. Representation Learning: A Review and New Perspectives // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2013. — Т. 35. — № 8. — С. 1798—1828.

Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // Advances in Neural Information Processing Systems. — 2012. — Т. 25. — С. 1097—1105.

Mikolov T., Sutskever I., Chen K., Corrado G. S., Dean J. Distributed Representations of Words and Phrases and their Compositionality // Advances in Neural Information Processing Systems. — 2013. — Т. 26. — С. 3111—3119.

Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // Proceedings of NAACL-HLT. — 2019. — С. 4171—4186.

Chen T., Kornblith S., Norouzi M., Hinton G. A Simple Framework for Contrastive Learning of Visual Representations // Proceedings of the 37th International Conference on Machine Learning. — 2020. — Т. 119. — С. 1597—1607.

Воронцов К. В. Философия. Введение в искусственный интеллект2026-07-01.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%83%D1%87%D0%B0%D0%B5%D0%BC%D0%B0%D1%8F_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85»

Категории: Машинное обучение | Нейронные сети | Глубокое обучение

@@ Строка 189: / Строка 189: @@
 Не существует единственного представления, оптимального для всех задач. Его качество определяется целью, для которой оно строится.
-\=== Информативность ===
+=== Информативность ===
 Представление должно сохранять сведения, необходимые для решения целевой задачи.