Матрица объектов-признаков

Материал из MachineLearning.

(Перенаправлено с Матрица выборки)
Перейти к: навигация, поиск
Статья подготовлена с использованием модели OpenAI GPT‑5.6 Sol с уровнем рассуждений High и проверена участником Д.О. Кистанов 22:55, 18 июля 2026 (MSK)

Промпт приводится полностью в Обсуждение:Матрица объектов-признаков


Содержание

Матрица объектов-признаков (также матрица признаков, матрица данных; англ. object-feature matrix, feature matrix, data matrix) — прямоугольная таблица, в которой строки соответствуют исследуемым объектам (наблюдениям, примерам), столбцы — их признакам, а элемент на пересечении строки и столбца содержит значение данного признака для данного объекта. В наиболее распространённом соглашении для n объектов и p числовых признаков получается матрица X\in {\mathbb R}^{n\times p}. Она служит основным интерфейсом между исходными данными и многими методами машинного обучения, многомерной статистики и вычислительной линейной алгебры.[1]

Матрица объектов-признаков является не методом обучения, а способом представления выборки. Результат анализа зависит не только от алгоритма, но и от того, что считается объектом, как определены признаки, в какой шкале они измерены, как обработаны пропуски и категории и не использована ли при построении признаков информация, недоступная в момент прогноза. В обучении с учителем целевая переменная обычно хранится отдельно как вектор y или матрица ответов Y; идентификаторы строк, временные метки и служебные поля также не обязаны быть признаками.

История

Представление наблюдений строками, а переменных столбцами возникло из практики статистических таблиц и экспериментальных планов; единственного автора у матрицы данных как общего понятия нет. Её алгебраические предпосылки связаны с развитием метода наименьших квадратов в начале XIX века: системы наблюдений и коэффициентов позднее стали записывать в компактной матричной форме.[1] В статистике такая запись особенно закрепилась в линейных моделях, где строки соответствуют наблюдениям, а столбцы — регрессорам.

Важный шаг к современному геометрическому пониманию таблицы многомерных наблюдений сделал Карл Пирсон. В 1901 году он поставил задачу аппроксимации системы точек в пространстве прямыми и плоскостями, минимизирующими квадраты ортогональных расстояний; эта работа стала одним из истоков метода главных компонент.[1] Гарольд Хотеллинг в 1933 году сформулировал анализ главных компонент для системы коррелированных статистических переменных и ввёл соответствующую терминологию.[1]

В 1936 году Рональд Фишер применил несколько одновременных измерений цветков ириса для построения линейной дискриминантной функции. Этот ставший классическим пример наглядно показывает современную схему «объекты \times признаки»: экземпляры растений образуют строки, четыре морфологических измерения — столбцы, а вид растения — целевую метку.[1] Развитие цифровых вычислений сделало матричную форму стандартной для статистических пакетов и алгоритмов распознавания образов. С конца XX века в центре внимания оказались широкие и разреженные матрицы с тысячами и миллионами признаков; это стимулировало исследования отбора признаков, регуляризации и приближённых матричных разложений.[1] В 2000—2010-е годы наряду с вручную заданными столбцами распространилось обучение представлений, при котором признаки строятся самой моделью.[1]

Основная идея

Пусть даны объекты o_1,\ldots,o_n и признаки — отображения \phi_j, сопоставляющие объекту значение в некоторой шкале. Тогда

X=(x_{ij})_{i=1,j=1}^{n,p},\qquad x_{ij}=\phi_j(o_i).

Строка x_i=(x_{i1},\ldots,x_{ip}) называется признаковым описанием или вектором признаков объекта o_i. Столбец X_{:j} содержит значения одного признака на всех объектах. Такое представление позволяет применять одну и ту же операцию сразу ко многим наблюдениям: матричное умножение реализует линейные модели, скалярные произведения задают сходство, а матричные разложения обнаруживают направления совместной изменчивости.

Например, исходная таблица для задачи прогноза покупки может выглядеть так:

Идентификатор Возраст Город Число визитов Покупка
101 24 Москва 5 0
102 41 Казань 12 1
103 35 Москва 7 1

Идентификатор задаёт строку, но обычно не включается в X. Столбцы «Возраст» и «Число визитов» уже числовые. Номинальный признак «Город» можно заменить индикаторными столбцами, например «Город = Москва» и «Город = Казань». Столбец «Покупка» является ответом y, а не входным признаком. В результате матрица, подаваемая алгоритму, может отличаться от исходной таблицы как числом столбцов, так и смыслом их значений.

Ориентация «объекты по строкам» является наиболее частой, но не универсальной: в некоторых математических текстах и программных библиотеках объекты записывают столбцами. Поэтому размерность и соглашение об осях необходимо указывать явно. Транспонирование меняет вычислительные формулы, но не содержащиеся в таблице значения.

Матрица данных и матрица плана

Термины матрица данных и матрица плана (англ. design matrix, model matrix) близки, но не всегда тождественны. Матрица объектов-признаков описывает доступные входные переменные. Матрица плана описывает конкретную параметрическую модель и может быть построена из исходных переменных: содержать столбец единиц для свободного члена, индикаторы уровней категориального фактора, взаимодействия, степени переменных или значения базисных функций. Для одной исходной таблицы возможны разные матрицы плана.

Например, линейная модель записывается как

y=X\beta+\varepsilon,

где X в этом контексте является матрицей плана, \beta — вектором коэффициентов, а \varepsilon — вектором ошибок. Если модель содержит свободный член, один из столбцов X равен единице, хотя такого измеряемого признака в исходных данных не было.

Математические основы

Типы признаков и числовое кодирование

В общем случае значения \phi_j(o) могут принадлежать разным множествам: вещественной или целой числовой шкале, конечному множеству категорий, множеству строк, дат или более сложных объектов. Поэтому исходная таблица является матрицей в строгом алгебраическом смысле только после выбора общего числового представления. Типичные преобразования включают:

  • сохранение количественного признака как одного вещественного столбца;
  • кодирование бинарного признака числами 0 и 1;
  • индикаторное кодирование номинального признака (англ. one-hot encoding);
  • кодирование порядкового признака числами с сохранением порядка, если расстояния между кодами имеют содержательный смысл для выбранной модели;
  • разложение даты на календарные компоненты или циклическое кодирование периодических величин;
  • представление текста частотами терминов, TF–IDF-весами или плотными вложениями;
  • извлечение числовых дескрипторов из изображений, сигналов, графов и последовательностей.

Кодирование является частью модели данных, а не нейтральной технической операцией. Например, замена трёх неупорядоченных категорий числами 1, 2 и 3 искусственно вводит порядок и расстояния. Индикаторное кодирование избегает этого, но увеличивает размерность и часто создаёт разреженную матрицу.

Центрирование, масштабирование и ковариация

Для количественного столбца выборочное среднее и стандартное отклонение равны

\bar x_j=\frac{1}{n}\sum_{i=1}^{n}x_{ij},\qquad s_j=\left(\frac{1}{n-1}\sum_{i=1}^{n}(x_{ij}-\bar x_j)^2\right)^{1/2}.

Стандартизация заменяет исходные значения на

z_{ij}=\frac{x_{ij}-\bar x_j}{s_j},\qquad s_j>0.

Она делает масштабы столбцов сопоставимыми, но не устраняет асимметрию распределения, выбросы или зависимость между признаками. Для константного столбца s_j=0, поэтому его стандартизация не определена. Параметры преобразования следует оценивать только по обучающей части данных и без переоценки применять к проверочной и тестовой частям.[1]

В матричной форме центрирование выполняется матрицей H:

X_c=HX,\qquad H=I_n-\frac{1}{n}{\bf 1}{\bf 1}^{T}.

Выборочная ковариационная матрица признаков имеет вид

S=\frac{1}{n-1}X_c^{T}X_c.

Диагональные элементы S равны выборочным дисперсиям, внедиагональные — ковариациям. После стандартизации аналогичное произведение даёт матрицу выборочных корреляций. Масштабирование особенно существенно для методов, использующих евклидовы расстояния, скалярные произведения, регуляризацию или дисперсию: столбец с большими числовыми значениями иначе может доминировать независимо от своей предсказательной ценности.

Матрицы Грама и геометрия

Из X естественно получаются две матрицы Грама:

G_o=XX^{T}\in {\mathbb R}^{n\times n},\qquad G_f=X^{T}X\in {\mathbb R}^{p\times p}.

Элемент (G_o)_{ik} является скалярным произведением признаковых описаний объектов i и k, а (G_f)_{j\ell} — суммой попарных произведений двух признаков по объектам. На этой связи основаны линейные ядерные методы, анализ сходства объектов и спектральные методы. Евклидово расстояние между строками выражается через скалярные произведения:

\|x_i-x_k\|^2=x_i x_i^{T}+x_k x_k^{T}-2x_i x_k^{T}.

Для категориальных, счётных или композиционных данных евклидова геометрия не всегда содержательна. Выбор кодирования, весов и меры близости должен соответствовать природе признаков и решаемой задаче.

Ранг, сингулярное разложение и главные компоненты

Ранг матрицы ограничен числом объектов и признаков:

{\rm rank}(X)\leq \min(n,p).

После центрирования {\rm rank}(X_c)\leq \min(n-1,p). Линейная зависимость столбцов означает, что некоторые признаки выражаются через другие; почти линейная зависимость приводит к мультиколлинеарности и неустойчивости ряда оценок.

Для матрицы ранга r сингулярное разложение имеет вид

X=U\Sigma V^{T}=\sum_{k=1}^{r}\sigma_k u_k v_k^{T},\qquad \sigma_1\geq\cdots\geq\sigma_r>0.

Усечённая сумма первых q компонент является наилучшим приближением ранга не выше q в норме Фробениуса:

X_q=\sum_{k=1}^{q}\sigma_k u_k v_k^{T},\qquad \|X-X_q\|_F^2=\sum_{k=q+1}^{r}\sigma_k^2.

Этот результат известен как теорема Эккарта—Янга; исходная статья 1936 года связала низкоранговое приближение матрицы с задачами факторного анализа.[1] Для центрированной матрицы правые сингулярные векторы задают направления главных компонент, а величины \sigma_k^2/(n-1) являются собственными значениями ковариационной матрицы. Центрирование принципиально: анализ нецентрированной матрицы решает иную задачу.[1]

Отношение крайних ненулевых сингулярных чисел

\kappa_2(X)=\frac{\sigma_1}{\sigma_r}

называется спектральным числом обусловленности. Большое значение указывает, что малые возмущения данных способны сильно изменить решение некоторых линейных задач. При дефиците ранга число обусловленности относительно обращения считают бесконечным. На практике ранг и обусловленность зависят от численного допуска: очень малое, но ненулевое сингулярное число может быть неотличимо от нуля при конечной точности вычислений.

Матрица в задаче обучения

В обучении с учителем выборка часто записывается как

{\cal D}=\{(x_i,y_i)\}_{i=1}^{n},\qquad X=(x_1^{T},\ldots,x_n^{T})^{T}.

Оценивание параметров \theta можно представить как минимизацию регуляризованного эмпирического риска:

\widehat\theta={\rm argmin}_{\theta}\left\{\frac{1}{n}\sum_{i=1}^{n}L(y_i,f(x_i;\theta))+\lambda\Omega(\theta)\right\}.

Матрица X определяет, какую информацию видит алгоритм; функция потерь L задаёт цену ошибок, а штраф \Omega ограничивает сложность решения. При нескольких целевых переменных ответы образуют матрицу Y\in {\mathbb R}^{n\times m}. Взвешенным наблюдениям соответствует вектор весов или диагональная матрица, а не дополнительный обычный признак.

Построение и хранение

Единица наблюдения

До формирования столбцов необходимо определить, чему соответствует одна строка: человеку, транзакции, документу, временному окну, изображению или иной единице анализа. Смешение уровней приводит к псевдорепликации и утечке информации. Например, если один пациент представлен несколькими визитами, случайное распределение строк по обучающей и тестовой частям может поместить визиты одного пациента в обе части. Тогда строки не являются независимыми объектами, а разбиение следует выполнять по пациентам.

Строка должна иметь устойчивый ключ, позволяющий проверить объединения таблиц и происхождение наблюдения. Сам ключ обычно исключают из признаков, поскольку произвольный номер способен породить ложные закономерности. Для временных задач момент вычисления каждого признака должен предшествовать моменту прогнозируемого события.

Конвейер преобразований

Практическое построение матрицы удобно рассматривать как последовательность преобразований:

  1. определить генеральную совокупность, единицу наблюдения и целевую переменную;
  2. разделить данные на обучающую, проверочную и тестовую части с учётом времени, групп и зависимостей;
  3. задать правила извлечения исходных признаков, доступных в момент применения модели;
  4. оценить по обучающей части параметры заполнения пропусков, кодировщиков, масштабирования, отбора или понижения размерности;
  5. применить неизменные преобразования ко всем частям и сохранить порядок, имена, типы и происхождение столбцов;
  6. проверить, что схема входа при обучении и при эксплуатации совпадает.

Разбиение до обучения преобразований предотвращает попадание статистик тестовой части в обучающую. Исключение составляют преобразования, которые заранее полностью определены и не зависят от наблюдённых данных. Воспроизводимый конвейер должен хранить не только итоговую матрицу, но и словари категорий, средние, масштабы, правила обработки неизвестных уровней и версию исходной схемы.

Плотное и разреженное представление

Плотная матрица хранит все np элементов и требует памяти порядка O(np). Если большинство элементов нулевые, применяют разреженные форматы, сохраняющие ненулевые значения и их индексы; объём памяти и стоимость ряда операций тогда зависят преимущественно от {\rm nnz}(X) — числа ненулевых элементов. Разреженность характерна для мешка слов, индикаторного кодирования категорий, взаимодействий и рекомендательных данных.

Выбор формата зависит от операций. Формат CSR удобен для доступа по строкам и умножения на векторы, CSC — для доступа по столбцам. Центрирование разреженной матрицы обычно превращает нули в ненулевые значения и разрушает разреженность; поэтому для разреженных данных применяют алгоритмы, учитывающие ненулевое среднее неявно, либо масштабирование без вычитания среднего. Некоторые модели и преобразования не поддерживают разреженный ввод и могут незаметно создать плотную копию, что опасно для больших данных.

Диагностика и оценка качества

У матрицы объектов-признаков нет самостоятельной «точности», аналогичной точности классификатора. Её качество оценивают по корректности схемы, статистическим свойствам, соответствию сценарию применения и влиянию на обобщающую способность модели. Диагностика обычно включает следующие группы проверок.

Проверка Типичный симптом Возможное последствие
Размеры и схема неожиданное число строк или столбцов; изменившийся тип потеря объектов, сдвиг столбцов, ошибка применения модели
Ключи и дубликаты повторяющиеся идентификаторы; соединение «многие ко многим» неявное перевзвешивание объектов, утечка между частями выборки
Пропуски высокая или зависимая от класса доля пропусков смещение оценок, отказ алгоритма, использование отсутствия как скрытого прокси-признака
Диапазоны и единицы отрицательный возраст; смешение метров и сантиметров выбросы, неверные расстояния и коэффициенты
Распределения сильная асимметрия, выбросы, редкие категории нестабильное масштабирование, высокая дисперсия оценок
Зависимости столбцов константные и дублирующиеся признаки; большой \kappa_2(X) неидентифицируемость или численная неустойчивость
Происхождение во времени признак рассчитан после целевого события утечка целевой переменной и завышенная тестовая оценка
Сдвиг данных различие обучающего и рабочего распределений ухудшение качества после внедрения

Долю пропусков полезно считать отдельно по столбцам, строкам, группам и времени. Простое удаление неполных строк или заполнение средним корректно лишь при дополнительных предположениях о механизме пропусков; в общем случае способ обработки влияет на смещение и неопределённость статистического вывода.[1]

Проверка утечки требует содержательного анализа происхождения каждого столбца, а не только корреляций. Утечкой называют использование информации о цели, которая при честном применении модели недоступна; она может возникнуть при соединении таблиц, вычислении агрегатов, отборе признаков или оценке преобразований до разделения данных.[1] Итоговую полезность представления оценивают только внутри полного протокола валидации: все обучаемые преобразования повторно подгоняются на каждой обучающей части, а метрика вычисляется на неиспользованных объектах.

Трудности и ограничения

Высокая размерность

При p, сравнимом с n или превосходящем его, ковариационная матрица становится вырожденной или плохо оценённой, а гибкая модель легко подгоняет шум. Большое число столбцов не означает большого количества независимой информации: ранг не превосходит n, а коррелированные признаки дополнительно уменьшают эффективную размерность. Возможные средства — предметно обоснованное сокращение признаков, регуляризация, понижение размерности и увеличение числа независимых объектов.

Отбор признаков преследует разные цели: повышение качества прогноза, снижение стоимости измерений, ускорение вычислений и интерпретацию механизма данных; один и тот же метод не обязан одновременно оптимизировать все эти цели.[1] Lasso добавляет к линейной модели ограничение или штраф по сумме модулей коэффициентов и способен занулять часть коэффициентов, совмещая регуляризацию с отбором переменных.[1] Однако при сильной корреляции столбцов выбранный набор может быть нестабилен, а отбор, выполненный до перекрёстной проверки на всей выборке, создаёт оптимистическое смещение.

Неоднородность и потеря структуры

Прямоугольная числовая матрица предполагает фиксированное число координат у каждого объекта. Последовательности переменной длины, графы, множества, изображения с пространственной структурой и иерархические записи не всегда естественно сводятся к независимым столбцам. Выравнивание, заполнение до общей длины или агрегирование делает матрицу фиксированного размера, но может потерять порядок, топологию или локальные связи. Альтернативой служат специализированные модели и структуры данных; матрица признаков тогда появляется на более позднем уровне как обученное представление.

Смешанные шкалы также ограничивают единообразную геометрию. Разность температур имеет смысл, разность кодов городов — нет. Для долей, счётчиков, углов и композиционных данных могут требоваться разные преобразования и меры расстояния. Универсальная стандартизация всех столбцов не исправляет неверно выбранную семантику.

Зависимость наблюдений и сдвиг распределения

Многие стандартные формулы трактуют строки как независимые и одинаково распределённые наблюдения. Временные, пространственные, семейные и повторные измерения нарушают это предположение. Оно не восстанавливается простым перемешиванием строк; требуется учитывать группы, временной порядок или структуру зависимости как в модели, так и при валидации.

Даже корректная обучающая матрица может перестать описывать рабочие данные. Сдвиг данных имеет место, когда совместное распределение входов и ответов при применении отличается от обучающего; частный случай — сдвиг ковариат, при котором меняется распределение входов.[1] Поэтому после внедрения контролируют не только предсказания, но и схему, доли пропусков, диапазоны, частоты категорий и распределения ключевых столбцов.

Пропуски и ошибки измерения

Значение «не измерено» не равно нулю. Хранение пропуска как нуля смешивает отсутствие наблюдения с настоящим нулевым значением. Заполнение одним числом уменьшает наблюдаемую дисперсию и не отражает неопределённость восстановления. Добавление индикатора пропуска может быть полезно для прогноза, но само по себе не устраняет смещение. При пропусках, зависящих от ненаблюдаемых значений, вывод невозможен без непроверяемых предположений или дополнительной информации.[1]

Ошибки измерения и неточно определённые признаки также не исчезают после записи в матрицу. Если столбец является лишь прокси для интересующего понятия, высокая предсказательная способность не доказывает причинной связи или содержательной валидности. Интерпретация коэффициентов требует знания процесса сбора данных и предположений модели.

Современные направления исследований

Масштабируемая матричная алгебра

Для матриц, которые не помещаются в оперативную память или слишком велики для полного разложения, развиваются потоковые, распределённые и рандомизированные алгоритмы. Рандомизированные методы низкорангового приближения сначала находят подпространство, в котором сосредоточено основное действие матрицы, а затем выполняют разложение меньшей задачи; некоторые варианты требуют лишь одного или нескольких проходов по данным.[1] Приближение позволяет экономить память и время ценой контролируемой вероятностной или численной погрешности.

Восстановление матриц

В задачах с наблюдаемой лишь частью элементов исследуется восстановление матрицы (англ. matrix completion). При предположении низкого ранга и дополнительных условиях когерентности минимум ядерной нормы способен точно восстановить ряд матриц из неполного набора случайно наблюдаемых элементов.[1] Эти гарантии не означают, что произвольные пропуски можно восстанавливать безошибочно: результат зависит от механизма наблюдения, ранга, структуры сингулярных векторов и уровня шума.

Обучаемые представления

В глубоком обучении матрица признаков может быть результатом параметрического отображения h_\theta(o), обучаемого совместно с целевой задачей. Строки такой матрицы остаются представлениями объектов, но столбцы обычно не имеют заранее заданного измерительного смысла. Обучаемые вложения позволяют работать с категориями высокой мощности, текстами, изображениями и графами и могут переноситься между задачами.[1] Ограничениями остаются зависимость представления от обучающего распределения, сложность интерпретации и необходимость предотвращать утечку при предварительном обучении и оценивании.

Надёжность конвейеров данных

Современная практика рассматривает схему признаков, код преобразований и статистики данных как версионируемые компоненты модели. Исследуются автоматическое обнаружение сдвига, робастная обработка выбросов, обучение при пропусках, приватные и федеративные вычисления, а также согласование признаков между обучением и эксплуатацией. Общая цель состоит не в создании единственной «идеальной» матрицы, а в воспроизводимом получении представления, корректного для заданного момента времени, популяции и решения.

Применения

Матрица объектов-признаков используется во многих классах задач:

  • в регрессии и классификации строки являются обучающими примерами, столбцы — входами линейных, обобщённых линейных и нелинейных моделей;
  • в кластеризации и метрических методах строки сравниваются по выбранной мере близости;
  • в методе главных компонент, независимых компонентах, неотрицательной факторизации и других разложениях матрица заменяется произведением факторов меньшей размерности;
  • в информационном поиске матрица «документ–термин» хранит частоты или веса слов и обычно является разреженной;
  • в биоинформатике строки могут соответствовать образцам или клеткам, а столбцы — генам, белкам или молекулярным маркерам;
  • в хемометрике и спектроскопии объектами служат образцы, признаками — интенсивности на длинах волн;
  • в рекомендательных системах матрица взаимодействий «пользователь–объект» формально имеет ту же прямоугольную структуру, но её столбцы являются объектами каталога, а пропуски часто означают ненаблюдаемое взаимодействие, а не отсутствующее измерение обычного признака;
  • в компьютерном зрении изображение можно развернуть в строку пиксельных значений, хотя современные модели обычно сохраняют пространственную структуру и формируют матрицы скрытых признаков внутри сети.

См. также

Примечания


Литература

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0_%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%D0%BE%D0%B2-%D0%BF%D1%80%D0%B8%D0%B7%D0%BD%D0%B0%D0%BA%D0%BE%D0%B2»