Материал из MachineLearning.
Определение
Критерий 
- наиболее часто используемый статистический критерий для проверки гипотезы 
, что наблюдаемая случайная величина подчиняется некому теоретическому закону распределения.
Пусть дана случайная величина X .
Гипотеза 
: с. в. X подчиняется закону распределения )
.
Для проверки гипотезы рассмотрим выборку, состоящую из n независимых наблюдений над с.в. X:
![X^n = \left( x_1, \cdots x_n \right), \; x_i \in \left[ a, b \right], \; \forall i=1 \dots n](../mimetex/?X^n = \left( x_1, \cdots x_n \right), \; x_i \in \left[ a, b \right], \; \forall i=1 \dots n )
.
По выборке построим эмпирическое распределение )
с.в X. Сравнение эмпирического и теоретического распределения производится с помощью специально подобранной случайной величины — критерия согласия. Рассмотрим критерий согласия Пирсона (критерий ):
Гипотеза 
: Хn порождается функцией .
Разделим [a,b] на k непересекающихся интервалов ![(a_i, b_i], \; i=1 \dots k](../mimetex/? (a_i, b_i], \; i=1 \dots k)
;
Пусть 
- количество наблюдений в j-м интервале: ![n_j = \sum_{i=1}^n \left[ a_j <x_i \leq b_j \right]](../mimetex/? n_j = \sum_{i=1}^n \left[ a_j <x_i \leq b_j \right] )
;
-F(a_j))
- вероятность попадания наблюдения в j-ый интервал при выполнении гипотезы ;
Ожидаемое число попаданий в j-ый интервал;
Статистика: ^2}{E_j} \sim \chi_{k-1}^2)
- Распределение хи-квадрат с k-1 степенью свободы.
Проверка гипотезы 
В зависимости от значения критерия , гипотеза может приниматься, либо отвергаться:
-
, гипотеза выполняется.
-
(попадает в левый "хвост" распределения). Следовательно теоретические и практические значения очень близки и гипотеза выполняется.
-
(попадает в правый "хвост" распределения) гипотеза отвергается.
Пример 1
Проверим гипотезу : если взять случайную выборку 100 человек из некоторой популяции, в которой количество мужчин и женщин примерно одинаково (встречаются с одинаковой частотой), то в наблюдаемой выборке отношение количества мужчин и женщин будет соотноситься с частотой по всей популяции (50/50). Пусть в наблюдаемой выборке 46 мужчин и 54 женщины, тогда число степеней свобод 
и
^2}{E_j}= \frac{\left(46-50 \right)^2}{50}+\frac{\left(54-50 \right)^2}{50}=0,64 )
Т.о. при уровне значимости 
гипотеза выполняется (см. таблицу значений ф-ии 
).
Сложная гипотеза
Гипотеза 
: Хn порождается функцией ,\; \theta \in R^d,\; \theta)
- неизвестна. Найдем 
с помощью метода максимального правдоподобия.
=F(b_j,\theta)-F(a_j,\theta))
, ![n_j = \sum_{i=1}^n \left[ a_i <x \leq b_i \right]](../mimetex/? n_j = \sum_{i=1}^n \left[ a_i <x \leq b_i \right] )
, ![\left(a_j,b_j \right]](../mimetex/?\left(a_j,b_j \right])
- фиксированы при 
.
 )
Теорема Фишера Для проверки сложной гипотезы критерий представляется в виде:
^2}{E_j} \sim \chi_{k-d-1}^2)
, где )
Пример 2
Пусть есть квадрат на местности, разделенный сеткой из 24-ёх горизонтальных и 24-ёх вертикальных линий на 576 равных участков. По квадрату производится артиллерийский обстрел. Подсчитывается количество попаданий снарядов в каждый из участков. Получены следующие данные: 0 попаданий - 229 участков, 1 попадание - 211 участок, 2 - 93, 3 - 35, 4 - 7, 5 и 6 - 0, 7 - 1 попадание. Гипотеза : стрельба случайна (нет "целевых" участков).
Закон редких событий (распределение Пуассона)
, S - число попаданий 
^2}{E_j}= 32.6 \sim \chi_{8-1-1}^2)
Тогда при уровне значимости гипотеза не выполняется (см. таблицу значений ф-ии 
).
Объединим события (4,5,6,7) с малой частотой попаданий в одно, тогда имеем:
1 попадание - 211 участок, 2 - 93, 3 - 35, {4,5,6,7} - 8.
огда при уровне значимости гипотеза H_0</tex> верна.
Проблемы
Критерий ошибается на выборках с низкочастотными (редкими) событиями. Решить эту проблему можно отбросив низкочастотные события, либо объединив их с другими событиями. Этот способ называется коррекцией Йетса (Yates' correction).
Литература
Ссылки
[Критерий хи-квадрат (en.wiki)]
