|
|
| Строка 5: |
Строка 5: |
| | | | |
| | {{MediaWiki:NewUserMessage|Agor153}} | | {{MediaWiki:NewUserMessage|Agor153}} |
| - |
| |
| - | Перенёс сюда старую версию '''Метод главных компонент''' для удобства дальнейшей работы
| |
| - |
| |
| - | '''Метод главных компонент''' — способ снижения размерности пространства данных.
| |
| - | Он заключается в нахождении линейного ортогонального преобразования исходной матрицы данных в пространство меньшей размерности.
| |
| - | При этом выбираются такая ортогональная система координат, которая обеспечивает наименьшую потерю информации в исходных данных.
| |
| - | Последнее подразуменает минимальную среднеквадратичную ошибку при проекции данных в пространство заданной размерности.
| |
| - |
| |
| - | == Определение метода главных компонент ==
| |
| - | [[Изображение:Principal_Component_Analysis.gif|right|frame|Векторы-строки матрицы исходных данных <tex>A</tex> показаны звездочками. Красным крестом отмечен первый вектор-столбец матрицы
| |
| - | вращения <tex>V</tex>. Точками отмечены проекции векторов на новую систему координат. Сумма квадратов длин синих линий есть ошибка —
| |
| - | количество информации, утраченной при снижении размерности пространства.]]
| |
| - |
| |
| - | Одной из задач аппроксимации является задача приближения множества векторов-строк <tex>\mathbf{a}_i</tex> матрицы <tex>A</tex> их проекциями на некоторую новую ортогональную систему координат.
| |
| - | Эта система отыскивается на множестве преобразований вращений <tex>V</tex> начальной системы координат.
| |
| - | При этом множество аппроксимируемых векторов <tex>\mathbf{a}_i</tex>, <tex>i=1,...,m</tex>, отображается в новое множество векторов <tex>\mathbf{z}_i</tex>, где <tex>\mathbf{a}_i,\mathbf{z}_i\in\mathbb{R}^n</tex>.
| |
| - | Оператором отображения
| |
| - | <center><tex>Z=A^TV</tex></center>
| |
| - | является ортонормальная матрица <tex>V</tex>, то есть <tex>VV^T=I</tex> — единичная матрица.
| |
| - | Столбцы <tex>Z</tex> называются главными компонентами матрицы <tex>A</tex>.
| |
| - | Матрица <tex>V</tex> строится таким образом, что среднеквадратическая
| |
| - | разность между векторами <tex>\mathbf{a}_i</tex> и проекцией этих векторов на
| |
| - | ортогональную систему координат, заданных <tex>\mathbf{z}_i</tex> минимальна.
| |
| - | Наиболее удобным способом получения матрицы <tex>V</tex> является [[сингулярное разложение]] матрицы <tex>A</tex>:
| |
| - | <center><tex>A=U\Lambda V^T.</tex></center>
| |
| - |
| |
| - | Метод главных компонент позволяет с помощью <tex>k</tex> первых главных компонент можно восстановить исходную матрицу с минимальной ошибкой.
| |
| - | Критерий минимального значения суммы квадратов расстояния от векторов-столбцов матрицы данных до их проекций на
| |
| - | первую главную компоненту называется критерием наибольшей информативности C.Р. Рао.
| |
| - | Кроме того, матрица <tex>V</tex> выполняет декоррелирующее преобразование, называемое также преобразованием Карунена-Лоэва.
| |
| - | В результате этого преобразования исчезает возможная корреляция между векторами-столбцами исходной матрицы <tex>A</tex>.
| |
| - | Рао было показано, что строки матрицы <tex>V</tex> есть собственные векторы ковариационной матрицы <center><tex>\Sigma=A^TA,</tex></center>
| |
| - | где матрица <tex>A</tex> <i>центрирована</i> — из каждого ее столбца вычтено среднее значение по этому столбцу.
| |
| - |
| |
| - | == Понятие наибольшей информативности ==
| |
| - |
| |
| - | Рассмотрим <tex>n</tex>-мерную случайную величину <tex>A</tex> с ковариационной
| |
| - | матрицей <tex>\Sigma=A^TA</tex>. Обозначим <tex>\mu_1,\dots,\mu_n</tex> —
| |
| - | соответствующие собственные числа и <tex>\mathbf{v}_1,\dots,\mathbf{v}_n</tex> — собственные
| |
| - | векторы матрицы <tex>\Sigma</tex>.
| |
| - | Заметим, что собственные числа и элементы собственных векторов
| |
| - | матрицы <tex>\Sigma</tex> всегда действительны. Тогда по теореме о собственных числах
| |
| - | <center><tex>\Sigma=\sum_{i=1}^n\mu_i\mathbf{v}_i\mathbf{v}_i^T,</tex> <tex>I=\sum_{i=1}^n\mathbf{v}_i\mathbf{v}_i^T,</tex></center>
| |
| - |
| |
| - | <center><tex>\mathbf{v}_i^T{\Sigma}\mathbf{v}_i=\mu_i,</tex> <tex>\mathbf{v}_i^T{\Sigma}\mathbf{v}_j=0,</tex> <tex>i\neq{j}.</tex> (*)</center>
| |
| - | Случайная величина <tex>\mathbf{z}_i=\mathbf{v}_i^TA</tex> называется <tex>i</tex>-й главной
| |
| - | компонентой случайной величины <tex>A</tex>. Матрица вращения <tex>V</tex>
| |
| - | составлена из векторов-столбцов <tex>\mathbf{v}_1,\ldots,\mathbf{v}_n</tex>. Матрица
| |
| - | главных компонент <tex>Z=A^TV</tex> имеет следующие свойства.
| |
| - |
| |
| - | == Смотри также ==
| |
| - | * [[Сингулярное разложение]]
| |
| - | * [[Интегральный индикатор]]
| |
| - | * [[Обучение без учителя]]
| |
| - |
| |
| - | == Литература ==
| |
| - | * Рао С.Р. Линейные статистические методы и их применения. М.: Наука. 1968. — С. 530-533.
| |
| - | * Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика. 1989.
| |
| - | * Jolliffe I.T. Principal Component Analysis, Springer Series in Statistics. Springer. 2002.
| |
| - | * Pearson, K. (1901). "On Lines and Planes of Closest Fit to Systems of Points in Space". Philosophical Magazine 2 (6): 559–572. [http://pbil.univ-lyon1.fr/R/liens/pearson1901.pdf]
| |
| - |
| |
| - | == Внешние ссылки ==
| |
| - | * [http://pca.narod.ru/ Нелинейный метод главных компонент]
| |
| - | * [http://en.wikipedia.org/wiki/Principal_components_analysis Principal components analysis at wikipedia.org]
| |
| - | * [http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D1%8B%D1%85_%D0%BA%D0%BE%D0%BC%D0%BF%D0%BE%D0%BD%D0%B5%D0%BD%D1%82 Метод главных компонент на wikipedia.org]
| |
