Квадратичный дискриминант
Материал из MachineLearning.
(Новая: == Квадратичный дискриминант == '''Квадратичный дискриминант''' - это вариант [[Байесовский классификато...) |
|||
| Строка 12: | Строка 12: | ||
::<tex>p(X)=N(X, \mu, \Sigma)=\frac {exp(-\frac {1}{2}(X- \mu)^T \Sigma^{-1} (X- \mu))}{\sqrt{(2 \pi)^n det \Sigma }} </tex> | ::<tex>p(X)=N(X, \mu, \Sigma)=\frac {exp(-\frac {1}{2}(X- \mu)^T \Sigma^{-1} (X- \mu))}{\sqrt{(2 \pi)^n det \Sigma }} </tex> | ||
| + | |||
| + | где <tex>n - </tex> размерность пространства | ||
=== Оценка параметров === | === Оценка параметров === | ||
| - | Оценки, основанные на принципе | + | Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид: |
::<tex>\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i</tex> | ::<tex>\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i</tex> | ||
::<tex>\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T</tex> | ::<tex>\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T</tex> | ||
| + | |||
| + | === Алгоритм классификации === | ||
| + | |||
| + | <tex> a(x)= argmax_{y \in Y} (ln \lambda_y P_y - \frac {1}{2}(x- \hat \mu_y)^T \Sigma^{-1} (x- \hat \mu_y) - \frac {1}{2} ln det {\hat \Sigma_y} ) </tex> | ||
| + | |||
| + | <u>'''Теорема:'''</u> Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают. | ||
| + | |||
| + | === Недостатки квадратичного дискриминанта === | ||
| + | |||
| + | {{UnderConstruction|[[Участник:Вера Батурина|Вера Батурина]] 00:18, 5 января 2010 (MSK)}} | ||
| + | |||
{{Задание|Вера Батурина|Константин Воронцов|6 января 2010}} | {{Задание|Вера Батурина|Константин Воронцов|6 января 2010}} | ||
[[Категория:Непроверенные учебные задания]] | [[Категория:Непроверенные учебные задания]] | ||
Версия 21:18, 4 января 2010
Содержание |
Квадратичный дискриминант
Квадратичный дискриминант - это вариант Байесовского классификатора, который основывается на нескольких допущениях, касающихся вероятностных свойств выборки.
Основные допущения
- Выборка независима, то есть
- Выборка имеет многомерное нормальное распределение. То есть функция правдоподобия имеет следующий вид:
где размерность пространства
Оценка параметров
Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид:
Алгоритм классификации
Теорема: Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают.
Недостатки квадратичного дискриминанта
| Статья в настоящий момент дорабатывается. Вера Батурина 00:18, 5 января 2010 (MSK) |
|
| Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
