Участник:Platonova.Elena/Песочница

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: Моя Песочница!)
Строка 1: Строка 1:
-
Моя Песочница!
+
'''Сравнение работы ЕМ-алгоритма и k-means для смесей с экспоненциальным распределением компонент.''' (само будет в заголовке)
 +
 
 +
=='''Краткое описание исследуемых алгоритмов'''==
 +
==ЕМ алгоритм==
 +
Основа EM-алгоритма - предположение, что исследуемое множество данных может быть представлено с помощью линейной комбинации распределений, а цель - оценка параметров распределения, которые максимизируют логарифмическую функцию правдоподобия, используемую в качестве меры качества модели.
 +
Пусть рассматривается смесь из <tex>k</tex> распределений, каждое описывается функцией правдоподобия <tex>p_j(x)</tex>
 +
 
 +
<center><tex>p(x) = \sum_{i=1}^k w_jp_j(x)</tex></center>
 +
 
 +
<tex>w_j</tex> - априорная вероятность <tex>j</tex>-й компоненты. Функции правдоподобия принадлежат параметрическому семейству распределений <tex>\varphi(x; \theta)</tex> и отличаются только значениями параметра <tex>p_j(x) = \varphi(x; \theta_j)</tex>
 +
 
 +
'''Вход''':
 +
 
 +
<tex> R,~ M,~ DELTA,~ L</tex> – общая длина выборки
 +
 
 +
'''Выход''':
 +
 
 +
<tex>\theta = (\omega_1, \omega_2, ..., \omega_k, \theta_1, \theta_2, ..., \theta_k)</tex> параметры распределения и весы компонент.
 +
 
 +
'''ОМП θ'''
 +
 +
для одно- и двумерного случая экспоненциального распределения.
 +
 
 +
Необходимо максимизировать
 +
 
 +
<center><tex>Q(\Theta) = ln\prod_{i=1}^m p(x_i)=\sum_{i=1}^mln\sum_{j=1}^k\omega_jp_j(x_i) \rightarrow ma\limits_{\Theta}x</tex></center>
 +
 
 +
Из Лагранжиана следует:
 +
<tex> \\
 +
\omega_j=\frac{1}m \sum_{i=1}^mg_{ij},</tex>
 +
<tex>j=1, \cdots, k \\
 +
\frac{\partial L}{\partial\theta_j}=\frac{\partial}{\partial\theta_j}\sum_{i=1}^mg_{ij}lnp_j(x_i)=0,</tex>
 +
<tex>j=1, \cdots, k.</tex>
 +
 
 +
==k-means (k ближайших соседей)==
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
{{Задание|Platonova.Elena|Константин Воронцов|7 января 2010}}

Версия 00:07, 4 января 2010

Сравнение работы ЕМ-алгоритма и k-means для смесей с экспоненциальным распределением компонент. (само будет в заголовке)

Краткое описание исследуемых алгоритмов

ЕМ алгоритм

Основа EM-алгоритма - предположение, что исследуемое множество данных может быть представлено с помощью линейной комбинации распределений, а цель - оценка параметров распределения, которые максимизируют логарифмическую функцию правдоподобия, используемую в качестве меры качества модели. Пусть рассматривается смесь из k распределений, каждое описывается функцией правдоподобия p_j(x)

p(x) = \sum_{i=1}^k w_jp_j(x)

w_j - априорная вероятность j-й компоненты. Функции правдоподобия принадлежат параметрическому семейству распределений \varphi(x; \theta) и отличаются только значениями параметра p_j(x) = \varphi(x; \theta_j)

Вход:

R,~ M,~ DELTA,~ L – общая длина выборки

Выход:

\theta = (\omega_1, \omega_2, ..., \omega_k, \theta_1, \theta_2, ..., \theta_k) параметры распределения и весы компонент.

ОМП θ

для одно- и двумерного случая экспоненциального распределения.

Необходимо максимизировать

Q(\Theta) = ln\prod_{i=1}^m p(x_i)=\sum_{i=1}^mln\sum_{j=1}^k\omega_jp_j(x_i) \rightarrow ma\limits_{\Theta}x

Из Лагранжиана следует: \\ \omega_j=\frac{1}m \sum_{i=1}^mg_{ij}, 

 j=1, \cdots, k \\
\frac{\partial L}{\partial\theta_j}=\frac{\partial}{\partial\theta_j}\sum_{i=1}^mg_{ij}lnp_j(x_i)=0,



 j=1, \cdots, k.



 k-means (k ближайших соседей)






 
 Данная статья является непроверенным учебным заданием.

Студент: Участник:Platonova.Elena

Преподаватель: Участник:Константин Воронцов

Срок: 7 января 2010



До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru.
По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.









Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Platonova.Elena/%D0%9F%D0%B5%D1%81%D0%BE%D1%87%D0%BD%D0%B8%D1%86%D0%B0»