Множественная проверка гипотез

Материал из MachineLearning.

Версия от 13:07, 21 мая 2010; Riabenko (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Зависимость вероятности наличия ложных отклонений от мощности семейства гипотез.

Множественная проверка гипотез — класс задач прикладной статистики, возникающий при необходимости одновременного построения семейства статистических выводов. В каждое такое утверждение, представляющее собой вывод об отвержении гипотезы при проверке статистических гипотез, изначально закладывается возможность ошибки (ложного отклонения гипотезы). Вероятность такой ошибки ограничивается неким достаточно малым значением — уровнем значимости $\alpha$ (например, часто берут $\alpha=0.05$ ), выражающим степень неуверенности в справедливости заключения. При одновременном построении $n$ заключений это приводит к тому, что вероятность совершения хотя бы одной такой ошибки оказывается ограничена сверху величиной вида $1-(1-\alpha)^n$ , которая является недопустимо большой уже для достаточно малых $n$ , то есть, с достаточно большой вероятностью рассматриваемое множество выводов содержит ошибочные. Для устранения этого эффекта, называемого эффектом множественных сравнений, разработан ряд статистических техник.

Содержание

1 Примеры
2 Обозначения
3 Типы семейств гипотез
4 Меры ошибки первого рода при множественной проверке
5 Способы контроля числа ошибок первого рода
6 Литература
7 Ссылки
8 Примечания

Примеры

В 1950 году Джозеф Райн проводил эксперименты по выявлению людей с экстрасенсорными способностями. Каждый испытуемый должен был угадать цвет каждой карты в последовательности из 10 карт. В таком опыте вероятность случайно угадать 9 или 10 карт из 10 составляет 11*2^-10 ≈ 0.01 — достаточно редкое событие, чтобы признать его маловероятным, поэтому Райн считал его свидетельством того, что испытуемый — экстрасенс. Однако, поскольку в опыте участвовало 1000 человек, вероятность того, что хотя бы один из них случайно угадает 9 или 10 карт составляла 1-(1-11*2^-10)¹⁰⁰⁰ ≈ 0.9998. Действительно, из 1000 испытуемых 12 человек угадали 9 из 10 карт, двое все 10 карт. В последующих экспериментах ни один из них не подтвердил свои способности.

Пусть инвестор выбирает, в какие из множества инвестиционных фондов вложить свои деньги. Для оценки инвестиционной привлекательности каждого фонда он вынужден использовать статистический критерий, чтобы отделить фонды, получившие в прошлом прибыль за счёт правильной стратегии управления, от тех, которые получили прибыль только в силу влияния случайных факторов. Чем больше множество фондов, из которых инвестор выбирает, тем больше вероятность того, что какие-то из них покажутся ему потенциально прибыльными, даже если их успех имел не систематический характер.

Пусть сравниваются способности нового и уже существующего лекарств влиять на ряд симптомов некоторого заболевания, причём, поскольку интерес представляют выводы отдельно по каждому симптому, проверяются покомпонентные гипотезы превосходства нового лекарства над старым. Чем больше список рассматриваемых симптомов, тем более вероятно, что новый препарат окажется лучше старого хотя бы в отношении одного из симптомов.

Пусть проверяется безопасность нового лекарства путём проверки наличия большого количества побочных эффектов. Чем больше побочных эффектов рассматривается, тем более вероятно, что хотя бы один из них будет признан связанным с употреблением лекарства.

Обозначения

Пусть $H = \{H_1,\ldots,H_n\}$ — множество нулевых гипотез, проверяемых против альтернатив общего вида $H_{Ai} = \bar{H}_i, \: i=1,n$ . Если нулевая гипотеза верна, будем писать $H_i=0$ , и $H_i=1$ в противном случае.

Пусть $N_0=\{i:\:H_i=0\}$ и $N_1=\{i:\:H_i=1\}$ — неизвестные множества индексов верных и неверных нулевых гипотез, $n_0=\left|N_0\right|$ , $n_1=\left|N_1\right|$ , $\left|N_0\cup N_1\right|=n$ . Количество отклонённых нулевых гипотез $R$ и количество принятых $W = n-R$ — наблюдаемые случайные величины, в то время как величины $S$ , $T$ , $U$ и $V$ из приведённой ниже таблицы являются ненаблюдаемыми.