Матрица

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск

Dovlat Demin (Обсуждение | вклад)
(Новая: {{well|Статья написана с использованием LLM '''GPT-5.3-mini''' и проверена участником ~~Dovlat Demin~~}} не закончена еще =...)
К следующему изменению →

Версия 10:14, 15 июля 2026

Статья написана с использованием LLM GPT-5.3-mini и проверена участником ~~Dovlat Demin~~ 
не закончена еще

Содержание

Матрица

Матрица — прямоугольная таблица элементов, расположенных в строках и столбцах. Чаще всего элементами матрицы являются действительные или комплексные числа, однако в общем случае ими могут быть объекты произвольной природы, для которых определены соответствующие операции. Матрицы являются одним из центральных объектов линейной алгебры, поскольку позволяют компактно записывать системы линейных уравнений, описывать линейные отображения и выполнять вычисления над многомерными данными. В современных приложениях матрицы служат основным инструментом машинного обучения, компьютерного зрения, обработки сигналов, оптимизации и научных вычислений. :contentReference[oaicite:0]{index=0}

Интуитивное представление

Матрицу удобно рассматривать как способ организации данных в виде таблицы. Например, строки могут соответствовать объектам наблюдения, а столбцы — признакам этих объектов. Именно такая форма хранения данных используется практически во всех алгоритмах машинного обучения.

С математической точки зрения матрица представляет собой запись линейного отображения в выбранных базисах. Благодаря этому одна и та же конструкция применяется как для хранения данных, так и для описания преобразований пространства.

Определение

Матрицей размера m\times n называется прямоугольная таблица

A= \begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{pmatrix},

где a_{ij} — элемент, расположенный на пересечении i-й строки и j-го столбца.

Обозначение

A=(a_{ij})_{m\times n}

означает, что матрица содержит m строк и n столбцов.

Если множество элементов не оговорено отдельно, обычно предполагается, что

a_{ij}\in\mathbb{R}.

Структура матрицы

Основными составляющими матрицы являются:

  • строки — горизонтальные последовательности элементов;
  • столбцы — вертикальные последовательности элементов;
  • элементы — отдельные значения a_{ij};
  • размерность — число строк и столбцов.

Например,

A= \begin{pmatrix} 1&2&3\\ 4&5&6 \end{pmatrix}

имеет размер 2\times3: две строки и три столбца.

Размерность матрицы определяет, какие операции над ней допустимы. Например, сложение возможно только для матриц одинакового размера, а произведение определяется лишь при согласованных размерах множителей.

Основные виды матриц

Прямоугольная матрица

Матрица называется прямоугольной, если число строк не совпадает с числом столбцов:

m\ne n.

Такие матрицы наиболее часто используются для хранения наборов данных, где строки соответствуют объектам, а столбцы — признакам.

Квадратная матрица

Если

m=n,

матрица называется квадратной.

Именно для квадратных матриц определяются Определитель, След матрицы, собственные значения и обратная матрица.

Матрица-строка и матрица-столбец

Если

m=1,

получается матрица-строка.

Если

n=1,

получается матрица-столбец, которая обычно рассматривается как вектор.

Нулевая матрица

Нулевой матрицей называется матрица, все элементы которой равны нулю:

a_{ij}=0.

Она играет роль нейтрального элемента относительно сложения.

Диагональная матрица

Диагональная матрица — квадратная матрица, у которой все внедиагональные элементы равны нулю:

a_{ij}=0,\qquad i\ne j.

Её общий вид:

\operatorname{diag}(d_1,d_2,\ldots,d_n).

Диагональные матрицы особенно удобны при вычислениях, поскольку многие операции над ними выполняются поэлементно.

Единичная матрица

Единичная матрица

I_n

имеет единицы на главной диагонали и нули вне её:

(I_n)_{ij}= \begin{cases} 1,&i=j,\\ 0,&i\ne j. \end{cases}

Она является аналогом числа 1 при умножении матриц:

AI=A,\qquad IA=A.

Симметричная матрица

Квадратная матрица называется симметричной, если

A^T=A.

Такие матрицы широко используются в статистике, оптимизации и машинном обучении. Например, ковариационные матрицы всегда симметричны.

Ортогональная матрица

Матрица называется ортогональной, если

A^TA=I.

Её столбцы образуют ортонормированный базис, а само преобразование сохраняет длины и углы. Ортогональные матрицы описывают повороты и отражения пространства.

Разреженная матрица

Разреженной называется матрица, большая часть элементов которой равна нулю.

Во многих практических задачах число ненулевых элементов составляет лишь небольшую долю общего количества. Для таких матриц существуют специальные форматы хранения и алгоритмы вычислений, позволяющие существенно экономить память и время работы.

Матрицы и данные

Практически любой набор данных можно представить матрицей.

Если имеется m наблюдений и n признаков, формируется матрица

X\in\mathbb{R}^{m\times n},

где строки соответствуют объектам, а столбцы — признакам.

Такое представление лежит в основе линейной регрессии, метода главных компонент, нейронных сетей и большинства современных алгоритмов анализа данных. Именно поэтому матрицы рассматриваются как универсальный язык математического описания данных и линейных преобразований. :contentReference[oaicite:1]{index=1}

Операции над матрицами

Над матрицами определён ряд алгебраических операций, позволяющих выполнять вычисления, описывать линейные преобразования и строить математические модели. Большинство алгоритмов линейной алгебры и машинного обучения основано именно на этих операциях. :contentReference[oaicite:0]{index=0}

Сложение матриц

Складывать можно только матрицы одинакового размера.

Если

A=(a_{ij}),\qquad B=(b_{ij})\in\mathbb{R}^{m\times n},

то их сумма определяется поэлементно:

A+B=(a_{ij}+b_{ij}).

Основные свойства:

  • коммутативность:

A+B=B+A;

  • ассоциативность:

(A+B)+C=A+(B+C);

  • существование нулевой матрицы:

A+0=A;

  • существование противоположной матрицы:

A+(-A)=0.

Умножение матрицы на число

При умножении матрицы на скаляр каждый её элемент умножается на одно и то же число:

(\alpha A)_{ij}=\alpha a_{ij}.

Данная операция удовлетворяет обычным законам дистрибутивности:

\alpha(A+B)=\alpha A+\alpha B,

(\alpha+\beta)A=\alpha A+\beta A.

Умножение матриц

Произведение

AB

существует только тогда, когда число столбцов первой матрицы совпадает с числом строк второй.

Если

A\in\mathbb{R}^{m\times n}, \qquad B\in\mathbb{R}^{n\times p},

то

AB\in\mathbb{R}^{m\times p},

а элементы вычисляются по формуле

(AB)_{ij} = \sum_{k=1}^{n} a_{ik}b_{kj}.

Умножение матриц соответствует последовательному выполнению линейных преобразований пространства.

Основные свойства:

  • ассоциативность

(AB)C=A(BC);

  • дистрибутивность

A(B+C)=AB+AC;

  • наличие единичной матрицы

AI=IA=A.

В отличие от умножения чисел,

AB\ne BA

в общем случае. Некоммутативность является одним из важнейших свойств матричной алгебры. :contentReference[oaicite:1]{index=1}

Транспонирование

Транспонированной называется матрица

A^T,

полученная заменой строк столбцами:

(A^T)_{ij}=a_{ji}.

Основные свойства:

(A^T)^T=A,

(A+B)^T=A^T+B^T,

(AB)^T=B^TA^T.

Транспонирование широко используется при вычислении скалярных произведений, ковариационных матриц и градиентов.

Обратная матрица

Для квадратной матрицы

A

обратной называется матрица

A^{-1},

удовлетворяющая условию

AA^{-1}=A^{-1}A=I.

Обратимыми являются только невырожденные матрицы, то есть матрицы с ненулевым определителем.

На практике явное вычисление обратной матрицы используется сравнительно редко. При решении систем линейных уравнений обычно применяются более устойчивые численные методы, например LU-разложение или QR-разложение. :contentReference[oaicite:2]{index=2}

Основные числовые характеристики

Определитель

Определитель (детерминант) квадратной матрицы — число, характеризующее свойства соответствующего линейного преобразования.

Для матрицы второго порядка

A= \begin{pmatrix} a&b\\ c&d \end{pmatrix}

определитель равен

\det A=ad-bc.

Определитель позволяет:

  • определить обратимость матрицы;
  • вычислить коэффициент изменения объёма при линейном преобразовании;
  • установить линейную независимость столбцов.

Матрица обратима тогда и только тогда, когда

\det A\ne0.

Ранг

Ранг матрицы — максимальное число линейно независимых строк или столбцов.

Обозначается

\operatorname{rank}(A).

Если

A\in\mathbb{R}^{m\times n},

то

0\le \operatorname{rank}(A) \le \min(m,n).

Ранг показывает фактическую размерность информации, содержащейся в матрице.

В машинном обучении низкий ранг часто свидетельствует о наличии скрытых зависимостей между признаками и лежит в основе методов понижения размерности, включая Метод главных компонент. :contentReference[oaicite:3]{index=3}

След матрицы

Следом квадратной матрицы называется сумма элементов главной диагонали:

\operatorname{tr}(A) = \sum_{i=1}^{n} a_{ii}.

След обладает рядом важных свойств:

\operatorname{tr}(A+B) = \operatorname{tr}(A)+\operatorname{tr}(B),

\operatorname{tr}(AB) = \operatorname{tr}(BA).

Кроме того, след равен сумме собственных значений матрицы с учётом их алгебраических кратностей. :contentReference[oaicite:4]{index=4}

Собственные значения и собственные векторы

Если существует ненулевой вектор

x

и число

\lambda,

для которых

Ax=\lambda x,

то

\lambda

называется собственным значением, а

x

— собственным вектором матрицы.

Собственный вектор сохраняет своё направление после действия линейного преобразования, изменяя лишь длину в \lambda раз.

Собственные значения используются:

  • при анализе устойчивости динамических систем;
  • в методе главных компонент;
  • в спектральной кластеризации;
  • при анализе графов;
  • при исследовании дифференциальных уравнений.

Для симметричных матриц все собственные значения являются действительными числами, а собственные векторы, соответствующие различным собственным значениям, ортогональны. Это свойство имеет фундаментальное значение в вычислительной линейной алгебре и статистике. :contentReference[oaicite:5]{index=5}

Связь характеристик матрицы

Основные характеристики матрицы тесно связаны между собой.

  • Ненулевой определитель эквивалентен существованию обратной матрицы.
  • Ранг определяет число линейно независимых направлений.
  • След равен сумме собственных значений.
  • Определитель равен произведению собственных значений с учётом их алгебраических кратностей.
  • Собственные значения описывают поведение соответствующего линейного преобразования вдоль его инвариантных направлений. :contentReference[oaicite:6]{index=6}

```txt

Геометрическая интерпретация матриц

Одним из наиболее важных способов понимания матрицы является её интерпретация как линейного отображения конечномерного векторного пространства. Каждая матрица определяет преобразование, которое переводит один вектор в другой по правилу

y=Ax,

где x — исходный вектор, а y — результат преобразования. Такое представление является фундаментальным в линейной алгебре и лежит в основе большинства её приложений.

Линейное преобразование сохраняет операции сложения и умножения на скаляр:

A(x+y)=Ax+Ay,

A(\alpha x)=\alpha Ax.

В зависимости от свойств матрицы линейное преобразование может выполнять различные геометрические действия.

  • масштабирование — изменение длин векторов;
  • поворот пространства;
  • отражение относительно прямой или плоскости;
  • сдвиг координат (в однородных координатах);
  • проекцию на подпространство;
  • комбинацию нескольких перечисленных преобразований.

Например, диагональная матрица

\begin{pmatrix} 2&0\\ 0&3 \end{pmatrix}

растягивает пространство в два раза вдоль первой координатной оси и в три раза вдоль второй.

Ортогональные матрицы описывают повороты и отражения, сохраняя расстояния и углы между векторами. Симметричные матрицы играют важную роль в задачах оптимизации и спектрального анализа благодаря своим специальным свойствам.

Собственные значения характеризуют коэффициенты растяжения вдоль инвариантных направлений пространства, задаваемых соответствующими собственными векторами. Поэтому спектральные свойства матриц позволяют анализировать поведение линейных преобразований без непосредственного выполнения преобразования для каждого вектора.

Матрицы в машинном обучении

Современное Машинное обучение практически полностью основано на матричных вычислениях. Большинство алгоритмов можно представить как последовательность операций умножения матриц, сложения и применения нелинейных функций.

Пусть имеется обучающая выборка из m объектов с n признаками. Тогда данные представляются матрицей

X\in\mathbb{R}^{m\times n},

где строки соответствуют отдельным объектам, а столбцы — признакам.

Такое представление используется практически во всех моделях анализа данных.

Матрицы применяются:

В глубоком обучении веса каждого полносвязного слоя образуют матрицу

W,

а вычисление выхода слоя записывается в виде

y=f(Wx+b),

где f — функция активации.

Использование матричной формы записи позволяет выполнять вычисления одновременно для большого количества объектов и эффективно использовать параллельную архитектуру современных процессоров и графических ускорителей. Именно поэтому библиотеки NumPy, PyTorch, TensorFlow и JAX реализуют большинство операций в виде высокооптимизированных матричных вычислений.

Преимущества матричного представления

Матричное представление обладает рядом важных достоинств.

  • компактная запись сложных вычислений;
  • единый язык описания линейных моделей;
  • возможность применения развитых алгоритмов численной линейной алгебры;
  • высокая эффективность вычислений благодаря векторизации;
  • хорошая масштабируемость на параллельных вычислительных устройствах;
  • удобство анализа свойств моделей посредством спектральных характеристик.

Во многих задачах именно матричная форма позволяет перейти от большого числа отдельных вычислений к единой операции линейной алгебры.

Ограничения

Несмотря на универсальность, матрицы имеют ограничения.

Во-первых, они описывают только линейные преобразования. Нелинейные зависимости моделируются либо композициями линейных преобразований с нелинейными функциями, либо более сложными математическими конструкциями.

Во-вторых, при работе с очень большими матрицами возрастают требования к памяти и вычислительным ресурсам. Для решения подобных задач используются разреженные форматы хранения, низкоранговые приближения, случайные алгоритмы и специализированные методы численной линейной алгебры.

Кроме того, многие практические задачи естественным образом описываются многомерными массивами данных. В этом случае используются тензоры, которые являются обобщением матриц на случай размерности больше двух.

Связь с другими понятиями линейной алгебры

Матрицы тесно связаны с большинством фундаментальных объектов линейной алгебры.

Ax=b.

Таким образом, матрицы являются связующим звеном между вычислительными алгоритмами, геометрией, алгеброй и современными методами анализа данных.

См. также

Литература

  1. Strang G. Introduction to Linear Algebra. 6th ed. Wellesley-Cambridge Press, 2023.
  2. Strang G. Linear Algebra and Learning from Data. Wellesley-Cambridge Press, 2019.
  3. Horn R. A., Johnson C. R. Matrix Analysis. 2nd ed. Cambridge University Press, 2013.
  4. Axler S. Linear Algebra Done Right. 4th ed. Springer, 2023.
  5. Golub G. H., Van Loan C. F. Matrix Computations. 4th ed. Johns Hopkins University Press, 2013.
  6. Trefethen L. N., Bau D. Numerical Linear Algebra. SIAM, 1997.
  7. Meyer C. D. Matrix Analysis and Applied Linear Algebra. SIAM, 2000.

```

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0»
Личные инструменты