Участник:Platonova.Elena/Песочница

Материал из MachineLearning.

Версия от 00:37, 4 января 2010; Platonova.Elena (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Сравнение работы ЕМ-алгоритма и k-means для смесей с экспоненциальным распределением компонент. (само будет в заголовке)

Краткое описание исследуемых алгоритмов

ЕМ алгоритм

Основа EM-алгоритма - предположение, что исследуемое множество данных может быть представлено с помощью линейной комбинации распределений, а цель - оценка параметров распределения, которые максимизируют логарифмическую функцию правдоподобия, используемую в качестве меры качества модели. Пусть рассматривается смесь из $k$ распределений, каждое описывается функцией правдоподобия $p_j(x)$

$p(x) = \sum_{i=1}^k w_jp_j(x)$

$w_j$ - априорная вероятность $j$ -й компоненты. Функции правдоподобия принадлежат параметрическому семейству распределений $\varphi(x; \theta)$ и отличаются только значениями параметра $p_j(x) = \varphi(x; \theta_j)$

Вход:

$R,~ M,~ DELTA,~ L$ – общая длина выборки

Выход:

$\theta = (\omega_1, \omega_2, ..., \omega_k, \theta_1, \theta_2, ..., \theta_k)$ параметры распределения и весы компонент.

ОМП θ

для одно- и двумерного случая экспоненциального распределения.

Необходимо максимизировать

$Q(\Theta) = ln\prod_{i=1}^m p(x_i)=\sum_{i=1}^mln\sum_{j=1}^k\omega_jp_j(x_i) \rightarrow ma\limits_{\Theta}x$

Из Лагранжиана следует:

$\omega_j=\frac{1}m \sum_{i=1}^mg_{ij}$ j=1,...,k

$\frac{\partial L}{\partial\theta_j}=\frac{\partial}{\partial\theta_j}\sum_{i=1}^mg_{ij}lnp_j(x_i)=0,$ j=1,...,k.

С учетом $p_j(x)\equiv \varphi(x, \theta_j) = \theta \cdot exp{-\theta \cdot x}$ получаем ОМП $\theta$ для экспоненциального закона:

$\frac{\partial}{\partial \theta_j}\sum_{i=1}^mg_{ij}(ln \theta_j - \theta_jx_i)=0 \theta_j=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^mx_ig_{ij}} </p>$

В двумерном случае:

$\theta_{jx}=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^mx_ig_{ij}} \theta_{jy}=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^my_ig_{ij}}$

k-means (k ближайших соседей)

Данная статья является непроверенным учебным заданием.

Студент: Участник:Platonova.Elena

Преподаватель: Участник:Константин Воронцов

Срок: 7 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Platonova.Elena/%D0%9F%D0%B5%D1%81%D0%BE%D1%87%D0%BD%D0%B8%D1%86%D0%B0»

Категория: Непроверенные учебные задания