Достигаемый уровень значимости

Материал из MachineLearning.

Версия от 17:34, 30 апреля 2009; Riabenko (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Основная статья: Проверка статистических гипотез

Достигаемый уровень значимости (пи-величина, англ. p-value) — это наименьшая величина уровня значимости, при которой нулевая гипотеза отвергается для данного значения статистики критерия $T$ .

$p(T) = \min \{ \alpha:\: T\in\Omega_\alpha \},$

где $\Omega_\alpha$ — критическая область критерия.

Другая интерпретация: достигаемый уровень значимости $p(T)$ — это вероятность, с которой (при условии истинности нулевой гипотезы) могла бы реализоваться наблюдаемая выборка, или любая другая выборка с ещё менее вероятным значением статистики $T$ .

Случайная величина $p(T(x^m))$ имеет равномерное распределение. Фактически, функция $p(T)$ приводит значение статистики критерия $T$ к шкале вероятности. Маловероятным значениям (хвостам распределения) статистики $T$ соотвествуют значения $p(T)$ , близкие к нулю.

Некоторые типичные заблуждения, связанные со значением пи-величины:

достигаемый уровень значимости не равен вероятности истинности нулевой гипотезы; частотная статистика вообще не имеет права приписывать вероятности гипотезам;
1 – (достигаемый уровень значимости) не равно вероятности истинности альтернативной гипотезы;
достигаемый уровень значимости не равен вероятности ошибки первого рода;
1 – (достигаемый уровень значимости) не равно вероятности ошибки второго рода;
достигаемый уровень значимости не есть вероятность того, что повторный эксперимент не приведёт к тому же решению.

Как правило, в практических задачах нет никакого разумного правила для выбора фиксированного уровня значимости. Выбирая метод достигаемого уровня значимости, мы можем сделать процедуру принятия решения более гибкой - чем меньшее значение $p(T)$ мы наблюдаем, тем сильнее свидетельствует совокупность наблюдений против нулевой гипотезы. Использование достигаемого уровня значимости вместо метода процентных точек рекомендуется нормативными документами Всероссийского научно-исследовательского института сертификации с 1987 года.

Литература

Кобзарь А. И. Прикладная математическая статистика. Справочник для инженеров и научных работников. — М.: Физматлит, 2006. — 816 с.
Цейтлин Н. А. Из опыта аналитического статистика. — М.: Солар, 2006. — 905 с.
Всероссийский научно-исследовательский институт сертификации. Рекоммендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. - М.: ВНИИС, 1987.