Достигаемый уровень значимости

Материал из MachineLearning.

Основная статья: Проверка статистических гипотез

Достигаемый уровень значимости (пи-величина, англ. p-value) — это наименьшая величина уровня значимости, при которой нулевая гипотеза отвергается для данного значения статистики критерия $T:$

$p(T) = \min \{ \alpha:\: T\in\Omega_\alpha \},$

где $\Omega_\alpha$ — критическая область критерия.

Другая интерпретация: достигаемый уровень значимости $p(T)$ — это вероятность при справедливости нулевой гипотезы получить значение статистики, такое же или ещё более экстремальное, чем $T$ (условно, $p(T) = \mathbb{P}(T|H_0)$ ).

Случайная величина $p(T(x^m))$ имеет равномерное распределение. Фактически, функция $p(T)$ приводит значение статистики критерия $T$ к шкале вероятности. Маловероятным значениям (хвостам распределения) статистики $T$ соотвествуют значения $p(T),$ близкие к нулю.

Некоторые типичные заблуждения, связанные со значением пи-величины:

достигаемый уровень значимости не равен вероятности истинности нулевой гипотезы $\left(p(T) = \mathbb{P}(T|H_0) \neq \mathbb{P}(H_0|T)\right)$ ; классическая статистика, в отличие от байесовской, не может приписывать вероятности гипотезам;
1 – (достигаемый уровень значимости) не равно вероятности истинности альтернативной гипотезы;
достигаемый уровень значимости не равен вероятности ошибки первого рода;
1 – (достигаемый уровень значимости) не равно вероятности ошибки второго рода;
достигаемый уровень значимости не есть вероятность того, что повторный эксперимент не приведёт к тому же решению.

Как правило, в практических задачах нет никакого разумного правила для выбора фиксированного уровня значимости. Выбирая метод достигаемого уровня значимости, мы можем сделать процедуру принятия решения более гибкой –- чем меньшее значение $p(T)$ мы наблюдаем, тем сильнее свидетельствует совокупность наблюдений против нулевой гипотезы. Использование достигаемого уровня значимости вместо метода процентных точек рекомендуется нормативными документами Всероссийского научно-исследовательского института сертификации с 1987 года.

Литература

Кобзарь А. И. Прикладная математическая статистика. Справочник для инженеров и научных работников. — М.: Физматлит, 2006. — 816 с.
Цейтлин Н. А. Из опыта аналитического статистика. — М.: Солар, 2006. — 905 с.
Всероссийский научно-исследовательский институт сертификации. Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. — М.: ВНИИС, 1987.