Участник:Platonova.Elena/Песочница
Материал из MachineLearning.
(Новая: Моя Песочница!) |
|||
Строка 1: | Строка 1: | ||
- | + | '''Сравнение работы ЕМ-алгоритма и k-means для смесей с экспоненциальным распределением компонент.''' (само будет в заголовке) | |
+ | |||
+ | =='''Краткое описание исследуемых алгоритмов'''== | ||
+ | ==ЕМ алгоритм== | ||
+ | Основа EM-алгоритма - предположение, что исследуемое множество данных может быть представлено с помощью линейной комбинации распределений, а цель - оценка параметров распределения, которые максимизируют логарифмическую функцию правдоподобия, используемую в качестве меры качества модели. | ||
+ | Пусть рассматривается смесь из <tex>k</tex> распределений, каждое описывается функцией правдоподобия <tex>p_j(x)</tex> | ||
+ | |||
+ | <center><tex>p(x) = \sum_{i=1}^k w_jp_j(x)</tex></center> | ||
+ | |||
+ | <tex>w_j</tex> - априорная вероятность <tex>j</tex>-й компоненты. Функции правдоподобия принадлежат параметрическому семейству распределений <tex>\varphi(x; \theta)</tex> и отличаются только значениями параметра <tex>p_j(x) = \varphi(x; \theta_j)</tex> | ||
+ | |||
+ | '''Вход''': | ||
+ | |||
+ | <tex> R,~ M,~ DELTA,~ L</tex> – общая длина выборки | ||
+ | |||
+ | '''Выход''': | ||
+ | |||
+ | <tex>\theta = (\omega_1, \omega_2, ..., \omega_k, \theta_1, \theta_2, ..., \theta_k)</tex> параметры распределения и весы компонент. | ||
+ | |||
+ | '''ОМП θ''' | ||
+ | |||
+ | для одно- и двумерного случая экспоненциального распределения. | ||
+ | |||
+ | Необходимо максимизировать | ||
+ | |||
+ | <center><tex>Q(\Theta) = ln\prod_{i=1}^m p(x_i)=\sum_{i=1}^mln\sum_{j=1}^k\omega_jp_j(x_i) \rightarrow ma\limits_{\Theta}x</tex></center> | ||
+ | |||
+ | Из Лагранжиана следует: | ||
+ | <tex> \\ | ||
+ | \omega_j=\frac{1}m \sum_{i=1}^mg_{ij},</tex> | ||
+ | <tex>j=1, \cdots, k \\ | ||
+ | \frac{\partial L}{\partial\theta_j}=\frac{\partial}{\partial\theta_j}\sum_{i=1}^mg_{ij}lnp_j(x_i)=0,</tex> | ||
+ | <tex>j=1, \cdots, k.</tex> | ||
+ | |||
+ | ==k-means (k ближайших соседей)== | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | {{Задание|Platonova.Elena|Константин Воронцов|7 января 2010}} |
Версия 00:07, 4 января 2010
Сравнение работы ЕМ-алгоритма и k-means для смесей с экспоненциальным распределением компонент. (само будет в заголовке)
Краткое описание исследуемых алгоритмов
ЕМ алгоритм
Основа EM-алгоритма - предположение, что исследуемое множество данных может быть представлено с помощью линейной комбинации распределений, а цель - оценка параметров распределения, которые максимизируют логарифмическую функцию правдоподобия, используемую в качестве меры качества модели.
Пусть рассматривается смесь из распределений, каждое описывается функцией правдоподобия
- априорная вероятность
-й компоненты. Функции правдоподобия принадлежат параметрическому семейству распределений
и отличаются только значениями параметра
Вход:
– общая длина выборки
Выход:
параметры распределения и весы компонент.
ОМП θ
для одно- и двумерного случая экспоненциального распределения.
Необходимо максимизировать
Из Лагранжиана следует:
![]()
![]()
k-means (k ближайших соседей)
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |