Квадратичный дискриминант

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: == Квадратичный дискриминант == '''Квадратичный дискриминант''' - это вариант [[Байесовский классификато...)
Строка 12: Строка 12:
::<tex>p(X)=N(X, \mu, \Sigma)=\frac {exp(-\frac {1}{2}(X- \mu)^T \Sigma^{-1} (X- \mu))}{\sqrt{(2 \pi)^n det \Sigma }} </tex>
::<tex>p(X)=N(X, \mu, \Sigma)=\frac {exp(-\frac {1}{2}(X- \mu)^T \Sigma^{-1} (X- \mu))}{\sqrt{(2 \pi)^n det \Sigma }} </tex>
 +
 +
где <tex>n - </tex> размерность пространства
=== Оценка параметров ===
=== Оценка параметров ===
-
Оценки, основанные на принципе максимального правдоподобия, принимают следующий вид:
+
Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид:
::<tex>\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i</tex>
::<tex>\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i</tex>
::<tex>\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T</tex>
::<tex>\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T</tex>
 +
 +
=== Алгоритм классификации ===
 +
 +
<tex> a(x)= argmax_{y \in Y} (ln \lambda_y P_y - \frac {1}{2}(x- \hat \mu_y)^T \Sigma^{-1} (x- \hat \mu_y) - \frac {1}{2} ln det {\hat \Sigma_y} ) </tex>
 +
 +
<u>'''Теорема:'''</u> Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают.
 +
 +
=== Недостатки квадратичного дискриминанта ===
 +
 +
{{UnderConstruction|[[Участник:Вера Батурина|Вера Батурина]] 00:18, 5 января 2010 (MSK)}}
 +
{{Задание|Вера Батурина|Константин Воронцов|6 января 2010}}
{{Задание|Вера Батурина|Константин Воронцов|6 января 2010}}
[[Категория:Непроверенные учебные задания]]
[[Категория:Непроверенные учебные задания]]

Версия 21:18, 4 января 2010

Содержание

Квадратичный дискриминант

Квадратичный дискриминант - это вариант Байесовского классификатора, который основывается на нескольких допущениях, касающихся вероятностных свойств выборки.

Основные допущения

  • Выборка независима, то есть
p(x_1 ... x_m)=\prod_{i=1}^m p(x_i)
  • Выборка имеет многомерное нормальное распределение. То есть функция правдоподобия имеет следующий вид:
p(X)=N(X, \mu, \Sigma)=\frac {exp(-\frac {1}{2}(X- \mu)^T \Sigma^{-1} (X- \mu))}{\sqrt{(2 \pi)^n det \Sigma }}

где n - размерность пространства

Оценка параметров

Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид:

\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i
\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T

Алгоритм классификации

a(x)= argmax_{y \in Y} (ln \lambda_y P_y - \frac {1}{2}(x- \hat \mu_y)^T \Sigma^{-1} (x- \hat \mu_y) - \frac {1}{2} ln det {\hat \Sigma_y} )

Теорема: Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают.

Недостатки квадратичного дискриминанта

Статья в настоящий момент дорабатывается.
Вера Батурина 00:18, 5 января 2010 (MSK)



Данная статья является непроверенным учебным заданием.
Студент: Участник:Вера Батурина
Преподаватель: Участник:Константин Воронцов
Срок: 6 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%B8%D1%87%D0%BD%D1%8B%D0%B9_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B8%D0%BC%D0%B8%D0%BD%D0%B0%D0%BD%D1%82»