EM-алгоритм с последовательным добавлением компонент (пример)
Материал из MachineLearning.
(→Исходный код) |
(→Исходный код) |
||
Строка 43: | Строка 43: | ||
== Исходный код == | == Исходный код == | ||
- | Скачать листинги алгоритмов можно здесь [http://mlalgorithms.svn.sourceforge.net/viewvc/mlalgorithms/EMwithAddingComponents | + | Скачать листинги алгоритмов можно здесь [http://mlalgorithms.svn.sourceforge.net/viewvc/mlalgorithms/EMwithAddingComponents EMk.m, emlearn.m, emtest.m] |
== Смотри также == | == Смотри также == |
Версия 11:38, 2 мая 2009
|
EM-алгоритм с последовательным добавлением компонент (пример) — общий метод нахождения функции плотности распределения объектов. Предполагается, что она имеет вид смеси распределений.
В данной статье рассматривается гауссовское распредение выборки, количество гауссианов произвольно.
Постановка задачи
Задана выборка , в которой
=
- множество объектов,
=
- множество ответов. Предполагается, что объекты имеют плотность распределения
, представимую в виде смеси
гауссиан с параметрами
и
.
Задача разделения смеси заключается в том, чтобы, имея выборку случайных и независимых наблюдений из смеси
оценить вектор параметров
доставляющий максимум функции правдоподобия
Алгоритм отыскания оптимальных параметров
Оптимальные параметры отыскиваются последовательно с помощью EM-алгоритма. Идея заключается во введении вспомогательного вектора скрытых переменных , обладающего двумя замечательными свойствами. С одной стороны, он может быть вычислен, если известны значения вектора параметров
, с другой стороны, поиск максимума правдоподобия сильно упрощается, если известны значения скрытых переменных.
EM-алгоритм состоит из итерационного повторения двух шагов. На E-шаге вы-
числяется ожидаемое значение (expectation) вектора скрытых переменных
по те-
кущему приближению вектора параметров
. На М-шаге решается задача максими-
зации правдоподобия (maximization) и находится следующее приближение вектора
по текущим значениям векторов
и
.
Если число компонент смеси заранее не известно, то применяется EM-алгоритм с последовательным добавлением компонент. Если при каком-либо
число неправильно классифицированных объектов превышает допустимое, то
увеличивается и повторяется EM(
)
- Вход:
Выборка ;
- максимальный допустимый разброс правдоподобия объектов;
- минимальная длина выборки, по которой можно восстановить плотность;
- параметр критерия останова;
- Выход:
- число компонент смеси;
- Алгоритм
1. начальное приближение - одна компонента:
2. для всех
3. выделить объекты с низким правдоподобием
4. Если то выход из цикла по
5. Начальное приближение для компоненты:
6.
Вычислительный эксперимент
Исходный код
Скачать листинги алгоритмов можно здесь EMk.m, emlearn.m, emtest.m
Смотри также
Литература
- К. В. Воронцов, Лекции по статистическим (байесовским) алгоритмам классификации
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |