Оценивание плотности распределения

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Байесовские алгоритмы классификации основываются на знании априорных вероятностей классов и законов распределения вероятностей признаков в каждом классе. На практике нам известна только обучающая выборка объектов. Будем считать элементы выборки независимыми случайными величинами, имеющими одинаковое распределение. Требуется по выборке оценить плотность этого распределения.

Постановка задачи

Требуется оценить плотность распределения $p(x)$ по выборке $X_l = \{x_i\}_{i=1}^m$ независимых случайных векторов, распределенных по этому закону $p(x)$ .

Методы решения

Существуют три основных подхода к оцениванию плотности распределения: непараметрический, параметрический и восстановление смесей распределений.

Непараметрическое восстановление плотности

Будем считать, что общий вид функции распределения неизвестен, известны только некоторые свойства — например, функция гладкая, непрерывная. Тогда для оценки плотности применяют непараметрические методы оценивания.

Постановка задачи

Построить функцию $\tilde {p}(x)$ , которая аппроксимировала бы неизвестную функцию $p(x)$ в некотором смысле.

Гистограммный метод оценивания

Идея: если $p(x)$ - плотность случайного вектора $\xi$ , то $P(\Omega) = \int_{\Omega}{p(x)dx} = p(x_0)V(\Omega)$ , где $x_0\in\Omega$ , $V(\Omega)$ - мера области $\Omega$ . Если $X_N = \{x_1, \cdots , x_N\}$ - выборка, $k$ — число значений выборки в $\Omega$ , то

$P(\Omega)\approx \frac {k}{N}$ .

Поэтому $p(x_0)V(\Omega)\approx \frac {k}{N} \Rightarrow p(x_0)\approx \frac {k}{N\cdot V(\Omega))$ .

Значит, $p(x) = \frac {k}{N\cdot V(\Omega))$ — оценка плотности.

Построение гистограммы:

найдем ограниченную область $A$ пространства $X$ (пространства объектов), содержащее все векторы из обучающей выборки $X_l$ ;
разобьем $A$ на непересекающиеся области $A_1, \cdots, A_p$ ;
если $k_i$ - количество элементов обучающей выборки $X^l$ , принадлежащих области $A_i$ , то

$\tilde p(x)=\frac{k}{N\cdot V(A_i)}$ , $x\in A_i$ ,

где $V(A_i)$ - мера области $A_i$ .

Оценка $\tilde p(x)$ будет состоятельной при некотором выборе $A_i$ . К сожалению, нет универсального способа выбора областей $Ai$ таких, чтобы оценка была состоятельной.

Методы локального оценивания

Идея: оценить плотность $p(x)$ в точке $x_0$ с помощью элементов обучающей выборки, попавших в некоторую окрестность $x_0$ .

Пусть $X_N = \{x_1, ... , x_N\}$ - последовательность выборок независимых случайных векторов, $\Omega _N$ - последовательность областей, содержащих точку $x$ , $k_N$ - число выборочных значений выборки $X_N$ , попавших в область $\Omega _N$ .

Теорема. Если функция $p(x)$ непрерывна в точке $x_0$ , все области $\Omega _N$ содержат точку $x_0$ и удовлетворяют условиям

$\lim _{N \rightarrow \infty} V(\Omega _N) = 0$ ;
$\lim _{N \rightarrow \infty} N\cdot V(\Omega _N) = \infty$ ,

то функция $\tilde p(x) = \frac {k_N}{N\cdot V(\Omega _N)}$ , $x\in \Omega _N$ будет несмещенной, асимптотически эффективной и состоятельной оценкой плотности $p(x)$ в точке $x_0$ .

Существуют два основных подхода к выбору областей, содержащих точку $x_0$ :

метод парзеновского окна. $\Omega _N$ предполагаются регулярными областями, размеры которых удовлетворяют условиям теоремы, исходя из этого определяется число $k_N$ .
метод k ближайших соседей. Фиксируются не области $\Omega _N$ , а число $k_N$ , затем для точки $x_0$ определяется регулярная область, содержащая $k_N$ ближайших к $x_0$ точек.

Метод оценивания с помощью аппроксимации функции плотности

Идея: функция $p(x)$ аппроксимируется с помощью системы базисных функций $\{\phi _j\}_{j=1}^{\infty}$ — оценка $\tilde p(x)$ ищется в виде

$\tilde p(x) = \sum _{j = 1}^{\infty} c_j\phi _j(x)$ . (1)

Коэффициенты $c_j$ выбираются таким образом, чтобы погрешность аппроксимации была минимальной, т.е.

$\parallel p(x) - \tilde p(x)\parallel \rightarrow \min$ .

Реально вместо бесконечного ряда (1) рассматривается конечная сумма первых $l$ членов.

Как правило, рассматривают ортогональную систему базисных функций, при этом используют многочлены Лежандра, Чебышева, Эрмита, Лагранжа, Лагерра и т.п.

Параметрическое восстановление плотности

Если общий вид функции плотности распределения случайного вектора ξ известен в том смысле, что точный вид функции полностью определяется набором параметров, которые можно оценить по обучающей выборке, то применяют параметрические методы оценивания плотности.

Постановка задачи

Известен общий вид функции плотности распределения $p(x) = \phi (x; a)$ случайного вектора $\xi$ , зависящий от вектора параметров $a$ . Требуется по обучающей выборке $X_l = \{x_1, \cdots , x_l}$ значений вектора $\xi$ получить оценку $\tilde a$ вектора $a$ .

Метод максимального правдоподобия

Метод максимального правдоподобия предложен Р.Фишером в 1912г.

Идея: найти такой вектор параметров $\tilde a$ , что

$p(X_l) = \prod _{i = 1}^{l}p(x_i) = \prod _{i = 1}^{l}\phi(x_i; a)\rightarrow \max$ .

Пример:

Пусть $X = R^n$ , а плотность $p(x)$ имеет вид многомерного нормального распределения:

$p(x) = N(x; \mu, \Sigma) = \frac {\exp \{-\frac{1}{2}(x - \mu)^T \Sigma ^{-1}(x - \mu) \} } {sqrt{(2\pi ^n) \det \Sigma } }$

Тогда оценки параметров $\mu$ и $\Sigma$ по методу максимального правдоподобия по выборке $X_l$ имеют следующий вид

$\tilde \mu = \frac {1}{l}\sum _{i = 1}^{l}x_i$ ;

$\tilde \Sigma = \frac {1}{l}\sum _{i = 1}^{l}(x_i - \tilde \mu)(x_i - \tilde \mu)^T$ .

Метод моментов

Идея: если $p(x) = \phi(x|a)$ - плотность распределения случайного вектора $\xi$ , то моменты $m$ -го порядка равны (считаем, что $X = R^n$ ):

$E[\xi ^m](a) = \int _{R^n} x^m p(x)dx = \int _{R^n} x^m \phi(x|a)dx$ .

Оценку $\tilde E[\xi^m]$ можно найти по выборке $X_l = \{x_1, \cdots , x_l\}$ :

$\tilde E[\xi^m]=\frac{1}{N}\sum_{j=1}^{N}x_j^m$

Оценку $\tilde a$ можно найти из системы уравнений:

$E[\xi^m](a) = \tilde E[\xi^m] \Longleftrightarrow \int _{R^n} x^m\phi (x|a)dx = \frac{1}{N}\sum_{j=1}^{N}x_j^m$ .

Если зависимоть $E[\xi^m](a)$ - непрерывна, то $\tilde a$ - состоятельная оценка.

Восстановление смесей распределений

Если "форма" классов имеет достаточно сложный вид, не "поддающийся" описанию одним распределением, то применяют методы восстановления смесей распрелений - описывают класс несколькими распределениями.

Предположим, что плотность распределения $p(x)$ имеет вид смеси $k$ распределений:

$p(x) = \sum _{j = 1}^{k}\omega _j p_j(x)$ , $\sum _{j = 1}^{k}\omega _j = 1$ , $\omega _j \ge 0$ .

где $p_j(x)$ — плотность распределения $j$ -й компоненты смеси, $\omega _j$ - её априорная вероятность. Функции правдоподобия принадлежат параметрическому семейству распределений $\phi (x; \theta)$ и отличаются только значениями параметра, $p_j(x) = \phi (x; \theta )$ .

Постановка задачи

Известна выборка $X_m$ — независимых случайных наблюдений из смеси $p(x)$ , известны число $k$ и функция $\phi$ . Требуется найти оценку параметров $\Theta = (\omega _1, \cdots ,\omega _k, \theta _1, \cdots , \theta _k)$ .

EM-алгоритм

Идея: искусственно вводится вектор скрытых переменных $G$ , обладающий следующими свойствами:

он может быть вычислен, если известны значения вектора параметров $\Theta$ ;
поиск максимума правдоподобия сильно упрощается, если известны значения скрытых переменных.

EM-алгоритм состоит из итерационного повторения двух шагов. На E-шаге вычисляется ожидаемое значение (expectation) вектора скрытых переменных $G$ по текущему приближению вектора параметров $\Theta$ . На М-шаге решается задача максимизации правдоподобия (maximization) и находится следующее приближение вектора $\Theta$ по текущим значениям векторов $G$ и $\Theta$ .

Итерации останавливаются, когда значения функционала $Q(\Theta)$ , где

$Q(\Theta) = \ln \prod _{i=1}^{m}p(x_i) = \sum _{i = 1}^{m} \ln \sum _{j = 1}^{k} \omega _j p_j(x_i) \rightarrow \max$ ,

или скрытых переменных $G$ перестают существенно изменяться. Удобнее контролировать скрытые переменные, так как они имеют смысл вероятностей и принимают значения из отрезка [0, 1].

"Проблемы", возникающие при реализации EM-алгоритма

Проблема выбора начального приближения. Хотя алгоритм EM сходится при достаточно общих предположениях, скорость сходимости может существенно зависеть от "хорошего" выбора начального приближения. Сходимость ухудшается в тех случаях, когда делается попытка поместить несколько компонент в один фактический сгусток распределения, либо разместить компоненту посередине между сгустками.

Проблема выбора числа компонент $k$ . До сих пор предполагалось, что число компонент $k$ известно заранее. На практике это, как правило, не так.

EM-алгоритм с последовательным добавлением компонент позволяет решить обе эти проблемы. Идея данного метода заключается в следующем. Имея некоторый набор компонент, можно выделить объекты $x_i$ , которые хуже всего описываются смесью - это объекты с наименьшими значениями правдоподобия $p(x_i)$ . По этим объектам строится ещё одна компонента. Затем она добавляется в смесь и запускаются EM-итерации, чтобы новая компонента и старые "притёрлись друг к другу". Так продолжается до тех пор, пока все объекты не окажутся покрыты компонентами.

Сравнение различных подходов

Были рассмотрены три подхода к задаче оценивания плотности распределения: непараметрический, параметрический и разделение смесей. Каждый из них применяется при определенных априорных знаниях о плотности распределения. Параметрические методы восстановления используются, если вид функции распределения известен с точностью до набора параметров, которые оцениваются по обучающей выборке. Непараметрические методы уже не требуют знания функции распределения с точностью до параметров, а только некоторых свойств функции, например, непрерывность или гладкость. Если же форма классов имеет достаточно "сложный" вид, не поддающийся описанию одним распределением, то применяют методы разделения смесей, когда предполагается, что внутри класса плотность распределения представляет собой смесь нескольких распределений.

Несмотря на то, что, казалось бы, все подходы имеют разные области применимости и используют разные методы обучения можно выделить и черты сходства между ними. Непараметрические оценки плотности можно рассматривать как предельный частный случай смеси распределений, в которой каждому обучающему объекту $x_i$ соответствует ровно одна компонента с априорной вероятностью $\omega _j = \frac {1}{m}$ и сферической плотностью с центром в точке $x_i$ . С другой стороны, параметрический подход также является крайним случаем смеси - когда берётся только одна компонента. Таким образом, все три подхода отличаются, в первую очередь, количеством аддитивных компонент в модели распределения: $1 \ll k \ll m$ . Это приводит к качественным различиям в методах обучения. Требования к форме компонент ослабляются по мере увеличения их числа. Восстановление смеси из произвольного числа компонент k является, по всей видимости, наиболее общим подходом в байесовской классификации.

Литература

http://www.lepskiy.ucoz.com/lect_Lepskiy_Bronevich_pass.pdf

http://lepskiy.ucoz.ru/_2_pass.pdf

Машинное обучение (курс лекций, К.В.Воронцов)

Данная статья является непроверенным учебным заданием.

Студент: Участник:ihoho

Преподаватель: Участник:Константин Воронцов

Срок: 31 декабря 2009

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D1%86%D0%B5%D0%BD%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F»

Категории: Непроверенные учебные задания | Оценивание вероятностных распределений

@@ Строка 2: / Строка 2: @@
 =Постановка задачи=
-Требуется оценить плотность распределения p(x) по выборке Xl = (xi, yi)i=1 l независимых случайных векторов, распределенных по этому  закону p(x).
+Требуется оценить плотность распределения <tex>p(x)</tex> по выборке <tex>X_l = \{x_i\}_{i=1}^m</tex> независимых случайных векторов, распределенных по этому  закону <tex>p(x)</tex>.
 =Методы решения=
@@ Строка 8: / Строка 8: @@
 ==Непараметрическое восстановление плотности==
-Будем считать, что общий вид функции распределения неизвестен, известны только некоторые свойства - например, функция гладкая, непрерывная. Тогда для оценки плотности применяют непараметрические методы оценивания.
+Будем считать, что общий вид функции распределения неизвестен, известны только некоторые свойства — например, функция гладкая, непрерывная. Тогда для оценки плотности применяют непараметрические методы оценивания.
 '''Постановка задачи'''
-Построить функцию p~(x), которая аппроксимировала бы неизвестную функцию p(x) в некотором смысле.
+Построить функцию <tex>\tilde {p}(x)</tex>, которая аппроксимировала бы неизвестную функцию <tex>p(x)</tex> в некотором смысле.
 ===Гистограммный метод оценивания===
-'''Идея''': если p(x) - плотность случайного вектора ξ, то ...
+'''Идея''': если <tex>p(x)</tex> - плотность случайного вектора <tex>\xi</tex>, то <tex>P(\Omega) = \int_{\Omega}{p(x)dx} = p(x_0)V(\Omega)</tex>,
-где ..., V(D) - мера области D. Если X = {x1, ... , xN} - выборка, k - число значений выборки в D, то P(D)≈k/N. Поэтому p(x0)V(D)≈k/N ⇒ p(x0)≈k/(N*V(D)). Значит, p(x) = k/(N*V(D)) - оценка плотности.
+где <tex>x_0\in\Omega</tex>, <tex>V(\Omega)</tex> - мера области <tex>\Omega</tex>. Если <tex>X_N = \{x_1, \cdots , x_N\}</tex> - выборка, <tex>k</tex> — число значений выборки в <tex>\Omega</tex>, то
-Построение гистограммы:
+<tex>P(\Omega)\approx \frac {k}{N}</tex>.
-) найдем ограниченную область A пространства X(пространства объектов), содержащее все векторы из обучающей выборки Xl;
+Поэтому <tex>p(x_0)V(\Omega)\approx \frac {k}{N} \Rightarrow p(x_0)\approx \frac {k}{N\cdot V(\Omega))</tex>.
-) разобьем A на непересекающиеся области A1, ... , Ar;
+Значит, <tex>p(x) = \frac {k}{N\cdot V(\Omega))</tex> — оценка плотности.
-) если ki - количество элементов обучающей выборки Xl, принадлежащих области Ai, то ...
+Построение гистограммы:
-где V(Ai) - мера области Ai.
-Оценка p(x|Xl) будет состоятельной при некотором выборе Ai. К сожалению, нет универсального способа выбора областей Ai таких, чтобы оценка была состоятельной
+# найдем ограниченную область <tex>A</tex> пространства <tex>X</tex>(пространства объектов), содержащее все векторы из обучающей выборки <tex>X_l</tex>;
+# разобьем <tex>A</tex> на непересекающиеся области <tex>A_1, \cdots, A_p</tex>;
+# если <tex>k_i</tex> - количество элементов обучающей выборки <tex>X^l</tex>, принадлежащих области <tex>A_i</tex>, то
+<tex>\tilde p(x)=\frac{k}{N\cdot V(A_i)}</tex>, <tex>x\in A_i</tex>,
-===Методы локального оценивания===
+где <tex>V(A_i)</tex> - мера области <tex>A_i</tex>.
-'''Идея''': оценить плотность p(x) в точке x0 с помощью элементов обучающей выборки, попавших в некоторую окрестность x0.
-Пусть XN = {x1, ... , xN} - последотельность выборок независимых случайных векторов, DN - последовательность областей, содержащих точку x, kN - число выборочных значений выборки XN, попавших в область DN.
+Оценка <tex>\tilde p(x)</tex> будет состоятельной при некотором выборе <tex>A_i</tex>. К сожалению, нет универсального способа выбора областей <tex>Ai</tex> таких, чтобы оценка была состоятельной.
-'''Теорема.''' Если функция p(x) непрерывна в точке x0, все области DN содержат точку x0 и удовлетворяют условиям
+===Методы локального оценивания===
+'''Идея''': оценить плотность <tex>p(x)</tex> в точке <tex>x_0</tex> с помощью элементов обучающей выборки, попавших в некоторую окрестность <tex>x_0</tex>.
-) ...
+Пусть <tex>X_N = \{x_1, ... , x_N\}</tex> - последовательность выборок независимых случайных векторов, <tex>\Omega _N</tex> - последовательность областей, содержащих точку <tex>x</tex>, <tex>k_N</tex> - число выборочных значений выборки <tex>X_N</tex>, попавших в область <tex>\Omega _N</tex>.
-) ...
+'''Теорема.''' Если функция <tex>p(x)</tex> непрерывна в точке <tex>x_0</tex>, все области <tex>\Omega _N</tex> содержат точку <tex>x_0</tex> и удовлетворяют условиям
-то функция p~(x) = ...  будет несмещенной, асимптотически эффективной и состоятельной оценкой плотности p(x) в точке x0.
+#<tex>\lim _{N \rightarrow \infty} V(\Omega _N) = 0</tex>;
+#<tex>\lim _{N \rightarrow \infty} N\cdot V(\Omega _N) = \infty</tex>,
-Существуют два основных подхода к выбору областей, содержащих точку x0:
+то функция <tex>\tilde p(x) = \frac {k_N}{N\cdot V(\Omega _N)}</tex>, <tex>x\in \Omega _N</tex>  будет несмещенной, асимптотически эффективной и состоятельной оценкой плотности <tex>p(x)</tex> в точке <tex>x_0</tex>.
-) [[метод парзеновского окна]].DN предполагаются регулярными областями, размеры которых удовлетворяют условиям теоремы, исходя из этого определяется число kN.
+Существуют два основных подхода к выбору областей, содержащих точку <tex>x_0</tex>:
-) [[метод k ближайших соседей]]. Фиксируется не области DN, а число kN, затем для точки x0 определяется регулярная область, содержащая kN ближайших к x0 точек.
+#[[метод парзеновского окна]]. <tex>\Omega _N</tex> предполагаются регулярными областями, размеры которых удовлетворяют условиям теоремы, исходя из этого определяется число <tex>k_N</tex>.
+#[[метод k ближайших соседей]]. Фиксируются не области <tex>\Omega _N</tex>, а число <tex>k_N</tex>, затем для точки <tex>x_0</tex> определяется регулярная область, содержащая <tex>k_N</tex> ближайших к <tex>x_0</tex> точек.
 ===Метод оценивания с помощью аппроксимации функции плотности===
-'''Идея''': функция p(x) аппроксимируется с помощью системы базисных функций {φj}j=1 ∞. оценка p(x) ищется в виде ...
+'''Идея''': функция <tex>p(x)</tex> аппроксимируется с помощью системы базисных функций <tex>\{\phi _j\}_{j=1}^{\infty}</tex> —  оценка <tex>\tilde p(x)</tex> ищется в виде
+<tex>\tilde p(x) = \sum _{j = 1}^{\infty} c_j\phi _j(x)</tex>.    (1)
+Коэффициенты <tex>c_j</tex> выбираются таким образом, чтобы погрешность аппроксимации была минимальной, т.е.
-Коэффициенты cj выбираются таким образом, чтобы погрешность аппроксимации была минимальной, т.е. ...
+<tex>\parallel p(x) - \tilde p(x)\parallel \rightarrow \min</tex>.
-Реально вместо бесконечного ряда (1) рассматривается конечная сумма первых l членов.
+Реально вместо бесконечного ряда (1) рассматривается конечная сумма первых <tex>l</tex> членов.
 Как правило, рассматривают ортогональную систему базисных функций, при этом используют многочлены Лежандра, Чебышева, Эрмита, Лагранжа, Лагерра и т.п.
@@ Строка 63: / Строка 70: @@
 '''Постановка задачи'''
-Известен общий вид функции плотности распределения p(x|a) случайного вектора ξ, зависящий от вектора параметров a. Требуется по обучающей выборке X = {x1, ... , xl} значений вектора ξ получить оценку a~ вектора a.
-===[[Метод максимального правдоподобия]]===
+Известен общий вид функции плотности распределения <tex>p(x) = \phi (x; a)</tex> случайного вектора <tex>\xi</tex>, зависящий от вектора параметров <tex>a</tex>. Требуется по обучающей выборке <tex>X_l = \{x_1, \cdots , x_l}</tex> значений вектора <tex>\xi</tex> получить оценку <tex>\tilde a</tex> вектора <tex>a</tex>.
-Предложен Р.Фишером в 1912г.
-'''Идея''': найти такой вектор параметров a~, что ...
+===Метод максимального правдоподобия===
+[[Метод максимального правдоподобия]] предложен Р.Фишером в 1912г.
-'''Пример'''
+'''Идея''': найти такой вектор параметров <tex>\tilde a</tex>, что
-Пусть плотность p(x) имеет вид многомерного нормального распределения: ... Тогда оценки параметров μ и Σ по методу максимального правдоподобия по выборке Xm имеют следующий вид ...
+<tex>p(X_l) = \prod _{i = 1}^{l}p(x_i) = \prod _{i = 1}^{l}\phi(x_i; a)\rightarrow \max</tex>.
+'''Пример:'''
+Пусть <tex>X = R^n</tex>, а плотность <tex>p(x)</tex> имеет вид многомерного нормального распределения:
+<tex>p(x) = N(x; \mu, \Sigma) = \frac {\exp \{-\frac{1}{2}(x - \mu)^T \Sigma ^{-1}(x - \mu) \} } {sqrt{(2\pi ^n) \det \Sigma } }</tex>
+Тогда оценки параметров <tex>\mu </tex> и <tex>\Sigma</tex> по методу максимального правдоподобия по выборке <tex>X_l</tex> имеют следующий вид
+<tex>\tilde \mu = \frac {1}{l}\sum _{i = 1}^{l}x_i</tex>;
+<tex>\tilde \Sigma = \frac {1}{l}\sum _{i = 1}^{l}(x_i - \tilde \mu)(x_i - \tilde \mu)^T</tex>.
 ===[[Метод моментов]]===
-'''Идея''': если p(x|a) - плотность распределения случайного вектора ξ, то моменты m-го порядка равны ...
+'''Идея''': если <tex>p(x) = \phi(x|a)</tex> - плотность распределения случайного вектора <tex>\xi</tex>, то моменты <tex>m</tex>-го порядка равны (считаем, что <tex>X = R^n</tex>):
+<tex>E[\xi ^m](a) = \int _{R^n} x^m p(x)dx = \int _{R^n} x^m \phi(x|a)dx</tex>.
-Оценку E~[ξm] можно найти по выборке XN = {x1, ... , xN}: ...
+Оценку <tex>\tilde E[\xi^m]</tex> можно найти по выборке <tex>X_l = \{x_1, \cdots , x_l\}</tex>:
+<tex>\tilde E[\xi^m]=\frac{1}{N}\sum_{j=1}^{N}x_j^m</tex>
+Оценку <tex>\tilde a</tex> можно найти из системы уравнений:
-Оценку a~ можно найти из системы уравнений: ...
+<tex>E[\xi^m](a) = \tilde E[\xi^m] \Longleftrightarrow \int _{R^n} x^m\phi (x|a)dx = \frac{1}{N}\sum_{j=1}^{N}x_j^m</tex>.
-Если зависимоть E[ξm](a) - непрерывна, то a~ - состоятельная оценка.
+Если зависимоть <tex>E[\xi^m](a)</tex> - непрерывна, то <tex>\tilde a</tex> - состоятельная оценка.
 ==Восстановление смесей распределений==
 Если "форма" классов имеет достаточно сложный вид, не "поддающийся" описанию одним распределением, то применяют методы восстановления смесей распрелений - описывают класс несколькими распределениями.
-Предположим, что плотность распределения p(x)  имеет вид смеси k распределений:
+Предположим, что плотность распределения <tex>p(x)</tex>  имеет вид смеси <tex>k</tex> распределений:
-...
+<tex>p(x) = \sum _{j = 1}^{k}\omega _j p_j(x)</tex>, <tex>\sum _{j = 1}^{k}\omega _j = 1</tex>, <tex>\omega _j \ge 0</tex>.
-где pj(x) - функция правдоподобия j-й компоненты смеси, wj - её априорная вероятность. Функции правдоподобия принадлежат параметрическому семейству распределений φ(x; θ) и отличаются только значениями параметра, p (x) = φ(x; θ ).
+где <tex>p_j(x)</tex> — плотность распределения <tex>j</tex>-й компоненты смеси, <tex>\omega _j</tex> - её априорная вероятность. Функции правдоподобия принадлежат параметрическому семейству распределений <tex>\phi (x; \theta)</tex> и отличаются только значениями параметра, <tex>p_j(x) = \phi (x; \theta )</tex>.
 '''Постановка задачи'''
-Известна выборка Xm - независимых случайных наблюдений из смеси p(x), известны число k и функция φ. Требуется найти оценку параметров  Θ = (w1, . . . ,wk, θ1, . . . , θk).
+Известна выборка <tex>X_m</tex> — независимых случайных наблюдений из смеси <tex>p(x)</tex>, известны число <tex>k</tex> и функция <tex>\phi</tex>. Требуется найти оценку параметров  <tex>\Theta = (\omega _1, \cdots ,\omega _k, \theta _1, \cdots , \theta _k)</tex>.
-===EM-алгоритм===
+===[[ЕМ-алгоритм, его модификации и обобщения |EM-алгоритм]]===
-'''Идея''': искусственно вводится вектор скрытых переменных G, обладающий следующими свойствами:
+'''Идея''': искусственно вводится вектор скрытых переменных <tex>G</tex>, обладающий следующими свойствами:
-) он может быть вычислен, если известны значения вектора параметров Θ;
+#он может быть вычислен, если известны значения вектора параметров <tex>\Theta</tex>;
+#поиск максимума правдоподобия сильно упрощается, если известны значения скрытых переменных.
-) поиск максимума правдоподобия сильно упрощается, если известны значения скрытых переменных.
+EM-алгоритм состоит из итерационного повторения двух шагов. На E-шаге вычисляется ожидаемое значение (expectation) вектора скрытых переменных <tex>G</tex> по текущему приближению вектора параметров <tex>\Theta</tex>. На М-шаге решается задача максимизации правдоподобия (maximization) и находится следующее приближение вектора <tex>\Theta</tex> по текущим значениям векторов <tex>G</tex> и <tex>\Theta</tex>.
-EM-алгоритм состоит из итерационного повторения двух шагов. На E-шаге вычисляется ожидаемое значение (expectation) вектора скрытых переменных G по текущему приближению вектора параметров Θ. На М-шаге решается задача максимизации правдоподобия (maximization) и находится следующее приближение вектора Θ по текущим значениям векторов G и Θ.
+Итерации останавливаются, когда значения функционала <tex>Q(\Theta)</tex>, где
-Итерации останавливаются, когда значения функционала Q(Θ), где Q(Θ) = ...
+<tex>Q(\Theta) = \ln \prod _{i=1}^{m}p(x_i) = \sum _{i = 1}^{m} \ln \sum _{j = 1}^{k} \omega _j p_j(x_i) \rightarrow \max</tex>,
-или скрытых переменных G перестают существенно изменяться. Удобнее контролировать скрытые переменные, так как они имеют смысл вероятностей и принимают значения из отрезка [0, 1].
-==="Проблемы", возникающие при реализации EM-алгоритма===
+или скрытых переменных <tex>G</tex> перестают существенно изменяться. Удобнее контролировать скрытые переменные, так как они имеют смысл вероятностей и принимают значения из отрезка [0, 1].
-Проблема выбора начального приближения. Хотя алгоритм EM сходится при достаточно общих предположениях, скорость сходимости может существенно зависеть от "хорошего" выбора начального приближения. Сходимость ухудшается в тех случаях, когда делается попытка поместить несколько компонент в один фактический сгусток распределения, либо разместить компоненту посередине между сгустками.
+==="Проблемы", возникающие при реализации EM-алгоритма===
-Проблема выбора числа компонент k. До сих пор предполагалось, что число компонент k известно заранее. На практике это, как правило, не так.
+*'''Проблема выбора начального приближения.''' Хотя алгоритм EM сходится при достаточно общих предположениях, скорость сходимости может существенно зависеть от "хорошего" выбора начального приближения. Сходимость ухудшается в тех случаях, когда делается попытка поместить несколько компонент в один фактический сгусток распределения, либо разместить компоненту посередине между сгустками.
-[[EM-алгоритм с последовательным добавлением компонент]] позволяет решить обе эти проблемы. Идея данного метода заключается в следующем. Имея некоторый набор компонент, можно выделить объекты xi, которые хуже всего описываются смесью - это объекты с наименьшими значениями правдоподобия p(xi). По этим объектам строится ещё одна компонента. Затем она добавляется в смесь и запускаются EM-итерации, чтобы новая компонента и старые "притёрлись друг к другу". Так продолжается до тех пор, пока все объекты не окажутся покрыты компонентами.
+*'''Проблема выбора числа компонент <tex>k</tex>.''' До сих пор предполагалось, что число компонент <tex>k</tex> известно заранее. На практике это, как правило, не так.
+[[EM-алгоритм с последовательным добавлением компонент]] позволяет решить обе эти проблемы. Идея данного метода заключается в следующем. Имея некоторый набор компонент, можно выделить объекты <tex>x_i</tex>, которые хуже всего описываются смесью - это объекты с наименьшими значениями правдоподобия <tex>p(x_i)</tex>. По этим объектам строится ещё одна компонента. Затем она добавляется в смесь и запускаются EM-итерации, чтобы новая компонента и старые "притёрлись друг к другу". Так продолжается до тех пор, пока все объекты не окажутся покрыты компонентами.
 =Сравнение различных подходов=
 Были рассмотрены три подхода к задаче оценивания плотности распределения: непараметрический, параметрический и разделение смесей. Каждый из них применяется при определенных априорных знаниях о плотности распределения. Параметрические методы восстановления используются, если вид функции распределения известен с точностью до набора параметров, которые оцениваются по обучающей выборке. Непараметрические методы уже не требуют знания функции распределения с точностью до параметров, а только некоторых свойств функции, например, непрерывность или гладкость. Если же форма классов имеет достаточно "сложный" вид, не поддающийся описанию одним распределением, то применяют методы разделения смесей, когда предполагается, что внутри класса плотность распределения представляет собой смесь нескольких распределений.
-Несмотря на то, что, казалось бы, все подходы имеют разные области применимости и используют разные методы обучения можно выделить и черты сходства между ними. Непараметрические оценки плотности можно рассматривать как предельный частный случай смеси распределений, в которой каждому обучающему объекту xi соответствует ровно одна компонента с априорной вероятностью wj = 1/m и сферической плотностью с центром в точке xi. С другой стороны, параметрический подход также является крайним случаем смеси - когда берётся только одна компонента. Таким образом, все три подхода отличаются, в первую очередь, количеством аддитивных компонент в модели распределения: 1 << k << m. Это приводит к качественным различиям в методах обучения. Требования к форме компонент ослабляются по мере увеличения их числа. Восстановление смеси из произвольного числа компонент k является, по всей видимости, наиболее общим подходом в байесовской классификации.
+Несмотря на то, что, казалось бы, все подходы имеют разные области применимости и используют разные методы обучения можно выделить и черты сходства между ними. Непараметрические оценки плотности можно рассматривать как предельный частный случай смеси распределений, в которой каждому обучающему объекту <tex>x_i</tex> соответствует ровно одна компонента с априорной вероятностью <tex>\omega _j = \frac {1}{m} </tex> и сферической плотностью с центром в точке <tex>x_i</tex>. С другой стороны, параметрический подход также является крайним случаем смеси - когда берётся только одна компонента. Таким образом, все три подхода отличаются, в первую очередь, количеством аддитивных компонент в модели распределения: <tex>1 \ll k \ll m</tex>. Это приводит к качественным различиям в методах обучения. Требования к форме компонент ослабляются по мере увеличения их числа. Восстановление смеси из произвольного числа компонент k является, по всей видимости, наиболее общим подходом в байесовской классификации.
 =Литература=
+http://www.lepskiy.ucoz.com/lect_Lepskiy_Bronevich_pass.pdf
 http://lepskiy.ucoz.ru/_2_pass.pdf
-[[Категория:Непроверенные учебные задания]]
+[[Машинное обучение (курс лекций, К.В.Воронцов)]]
 {{Задание|ihoho|Константин Воронцов|31 декабря 2009}}
+[[Категория:Оценивание вероятностных распределений]]

Оценивание плотности распределения

Материал из MachineLearning.

Текущая версия

Содержание

Постановка задачи

Методы решения

Непараметрическое восстановление плотности

Гистограммный метод оценивания

Методы локального оценивания

Метод оценивания с помощью аппроксимации функции плотности

Параметрическое восстановление плотности

Метод максимального правдоподобия

Метод моментов

Восстановление смесей распределений

EM-алгоритм

"Проблемы", возникающие при реализации EM-алгоритма

Сравнение различных подходов

Литература

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты