Участник:Pavlov99
Материал из MachineLearning.
(Новая: {{TOCright}} '''EM-алгоритм с последовательным добавлением компонент''' — общий метод нахождения функции пло...) |
|||
Строка 1: | Строка 1: | ||
{{TOCright}} | {{TOCright}} | ||
'''EM-алгоритм с последовательным добавлением компонент''' — общий метод нахождения функции плотности распределения объектов. Предполагается, что она имеет вид смеси <tex>k</tex> распределений. | '''EM-алгоритм с последовательным добавлением компонент''' — общий метод нахождения функции плотности распределения объектов. Предполагается, что она имеет вид смеси <tex>k</tex> распределений. | ||
- | В данной статье рассматривается гауссовское распредение выборки, | + | В данной статье рассматривается гауссовское распредение выборки, количество гауссианов произвольно. |
== Постановка задачи == | == Постановка задачи == | ||
Задана выборка <tex>\{(\mathbf{x}_i,y_i)\}_{i=1}^l</tex>, в которой <tex>X^l</tex> = <tex>\{\mathbf{x}_i\}_{i=1}^l</tex> - множество объектов, <tex>Y^l</tex> = <tex>\{\mathbf{y}_i\}_{i=1}^l</tex> - множество ответов. Предполагается, что объекты имеют плотность распределения <tex>p(x)</tex>, представимую в виде смеси <tex>k</tex> гауссиан с параметрами <tex>\mu</tex> и <tex>\Sigma</tex>. | Задана выборка <tex>\{(\mathbf{x}_i,y_i)\}_{i=1}^l</tex>, в которой <tex>X^l</tex> = <tex>\{\mathbf{x}_i\}_{i=1}^l</tex> - множество объектов, <tex>Y^l</tex> = <tex>\{\mathbf{y}_i\}_{i=1}^l</tex> - множество ответов. Предполагается, что объекты имеют плотность распределения <tex>p(x)</tex>, представимую в виде смеси <tex>k</tex> гауссиан с параметрами <tex>\mu</tex> и <tex>\Sigma</tex>. | ||
- | |||
- | Задача разделения смеси заключается в том, чтобы, имея выборку <tex>X^m<> случайных и независимых наблюдений из смеси p(x) оценить вектор параметров <tex>\theta = (w_1,...,w_k,\mu_1,...,\mu_k,\Sigma_1,...,\Sigma_k)</tex> доставляющий | + | <center><tex>p(x) = \sum_{i=1}^k w_jp_j(x) = \sum_{i=1}^k w_jN(x;\mu_j,\Sigma_j)</tex></center> |
+ | |||
+ | Задача разделения смеси заключается в том, чтобы, имея выборку <tex>X^m</tex> случайных и независимых наблюдений из смеси <tex>p(x)</tex> оценить вектор параметров <tex>\theta = (w_1,...,w_k,\mu_1,...,\mu_k,\Sigma_1,...,\Sigma_k)</tex> доставляющий максимум функции правдоподобия | ||
+ | <center><tex>Q(\Theta) = \ln\prod_{i=1}^mp(x_i|w,\mu,\Sigma) = \sum_{i=1}^m\ln\sum_{j=1}^kw_jp_j(x_i) \rightarrow max</tex></center> | ||
+ | |||
+ | == Алгоритм отыскания оптимальных параметров == | ||
+ | Оптимальные параметры отыскиваются последовательно с помощью EM-алгоритма. Идея заключается во введении вспомогательного вектора скрытых переменных |
Версия 13:16, 29 апреля 2009
|
EM-алгоритм с последовательным добавлением компонент — общий метод нахождения функции плотности распределения объектов. Предполагается, что она имеет вид смеси распределений.
В данной статье рассматривается гауссовское распредение выборки, количество гауссианов произвольно.
Постановка задачи
Задана выборка , в которой
=
- множество объектов,
=
- множество ответов. Предполагается, что объекты имеют плотность распределения
, представимую в виде смеси
гауссиан с параметрами
и
.
Задача разделения смеси заключается в том, чтобы, имея выборку случайных и независимых наблюдений из смеси
оценить вектор параметров
доставляющий максимум функции правдоподобия
Алгоритм отыскания оптимальных параметров
Оптимальные параметры отыскиваются последовательно с помощью EM-алгоритма. Идея заключается во введении вспомогательного вектора скрытых переменных