Квадратичный дискриминант
Материал из MachineLearning.
Строка 1: | Строка 1: | ||
- | '''Квадратичный дискриминант''' - это вариант [[Байесовский классификатор|Байесовского классификатора]], который основывается на | + | '''Квадратичный дискриминант''' - это вариант [[Байесовский классификатор|Байесовского классификатора]], который основывается на двух дополнительных допущениях, касающихся вероятностных свойств выборки, а именно - независимость выборки и ее нормальность. |
+ | [[Нормальное распределение|Нормальное (гауссово) распределение]] широко используется по причине вычислительного удобства и адекватности во многих случаях. | ||
- | + | == Основные допущения == | |
* Выборка независима, то есть | * Выборка независима, то есть | ||
Строка 13: | Строка 14: | ||
где <tex>n - </tex> размерность пространства | где <tex>n - </tex> размерность пространства | ||
- | + | == Оценка параметров == | |
- | Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид: | + | Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид для каждого класса <tex>y</tex>: |
::<tex>\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i</tex> | ::<tex>\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i</tex> | ||
Строка 21: | Строка 22: | ||
::<tex>\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T</tex> | ::<tex>\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T</tex> | ||
- | + | Где <tex>x_i \in y,</tex> | |
+ | |||
+ | <tex> m - </tex> количество элементов в классе <tex>y</tex> | ||
+ | |||
+ | == Алгоритм классификации == | ||
+ | |||
+ | В общем виде, алгоритм Байесовского классификатора имеет вид | ||
+ | |||
+ | <tex>a(x)=argmax_{y \in Y} \lambda_y p_y(x) P_y</tex> | ||
+ | |||
+ | В условиях выдвинутых гипотез алгоритм очевидным образом приобретает следующий вид: | ||
<tex> a(x)= argmax_{y \in Y} (ln \lambda_y P_y - \frac {1}{2}(x- \hat \mu_y)^T \Sigma^{-1} (x- \hat \mu_y) - \frac {1}{2} ln det {\hat \Sigma_y} ) </tex> | <tex> a(x)= argmax_{y \in Y} (ln \lambda_y P_y - \frac {1}{2}(x- \hat \mu_y)^T \Sigma^{-1} (x- \hat \mu_y) - \frac {1}{2} ln det {\hat \Sigma_y} ) </tex> | ||
Строка 27: | Строка 38: | ||
<u>'''Теорема:'''</u> Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают. | <u>'''Теорема:'''</u> Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают. | ||
- | + | == Недостатки квадратичного дискриминанта == | |
+ | |||
+ | == Литература == | ||
- | + | # К.В.Воронцов [http://www.machinelearning.ru/wiki/images/e/ed/Voron-ML-Bayes.pdf „Лекции по статистическим (байесовским) алгоритмам классификации“] | |
+ | # Л.М.Местецкий [http://www.ccas.ru/frc/papers/mestetskii04course.pdf Курс лекций "Математические методы распознавания образов"] | ||
{{Задание|Вера Батурина|Константин Воронцов|6 января 2010}} | {{Задание|Вера Батурина|Константин Воронцов|6 января 2010}} | ||
[[Категория:Непроверенные учебные задания]] | [[Категория:Непроверенные учебные задания]] |
Версия 18:55, 5 января 2010
Квадратичный дискриминант - это вариант Байесовского классификатора, который основывается на двух дополнительных допущениях, касающихся вероятностных свойств выборки, а именно - независимость выборки и ее нормальность. Нормальное (гауссово) распределение широко используется по причине вычислительного удобства и адекватности во многих случаях.
Содержание |
Основные допущения
- Выборка независима, то есть
- Выборка имеет многомерное нормальное распределение. То есть функция правдоподобия имеет следующий вид:
где размерность пространства
Оценка параметров
Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид для каждого класса :
Где
количество элементов в классе
Алгоритм классификации
В общем виде, алгоритм Байесовского классификатора имеет вид
В условиях выдвинутых гипотез алгоритм очевидным образом приобретает следующий вид:
Теорема: Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают.
Недостатки квадратичного дискриминанта
Литература
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |