Множественная проверка гипотез
Материал из MachineLearning.
(Новая: [[Изображение:Fwer.PNG|thumb|300px|Зависимость вероятности наличия ложных отклонений от мощности семейства ги...) |
|||
Строка 1: | Строка 1: | ||
[[Изображение:Fwer.PNG|thumb|300px|Зависимость вероятности наличия ложных отклонений от мощности семейства гипотез.]] | [[Изображение:Fwer.PNG|thumb|300px|Зависимость вероятности наличия ложных отклонений от мощности семейства гипотез.]] | ||
- | '''Множественная проверка гипотез''' | + | '''Множественная проверка гипотез''' — класс задач [[Математическая статистика|прикладной статистики]], возникающий при необходимости одновременного построения семейства статистических выводов. В каждое такое утверждение, представляющее собой вывод об отвержении гипотезы при [[Проверка статистических гипотез|проверке статистических гипотез]], изначально закладывается возможность ошибки ([[Проверка статистических гипотез#Ошибки первого и второго рода|ложного отклонения гипотезы]]). Вероятность такой ошибки ограничивается неким достаточно малым значением — уровнем значимости <tex>\alpha</tex> (например, часто берут <tex>\alpha=0.05</tex>), выражающим степень неуверенности в справедливости заключения. При одновременном построении <tex>n</tex> заключений это приводит к тому, что вероятность совершения хотя бы одной такой ошибки оказывается ограничена сверху величиной вида <tex>1-(1-\alpha)^n</tex>, которая является недопустимо большой уже для достаточно малых <tex>n</tex>, то есть, с достаточно большой вероятностью рассматриваемое множество выводов содержит ошибочные. Для устранения этого эффекта разработан ряд статистических техник. |
==Примеры== | ==Примеры== | ||
+ | * В 1950 году Джозеф Райн проводил эксперименты по выявлению людей с экстрасенсорными способностями. Каждый испытуемый должен был угадать цвет каждой карты в последовательности из 10 карт. В таком опыте вероятность случайно угадать 9 или 10 карт из 10 составляет 11*2<sup>-10</sup> ≈ 0.01 — достаточно редкое событие, чтобы признать его маловероятным, поэтому Райн считал его свидетельством того, что испытуемый — экстрасенс. Однако, поскольку в опыте участвовало 1000 человек, вероятность того, что хотя бы один из них случайно угадает 9 или 10 карт составляла 1-(1-11*2<sup>-10</sup>)<sup>1000</sup> ≈ 0.9998. Действительно, из 1000 испытуемых 12 человек угадали 9 из 10 карт, двое все 10 карт. В последующих экспериментах ни один из них не подтвердил свои способности. | ||
+ | |||
+ | * Пусть инвестор выбирает, в какие из множества инвестиционных фондов вложить свои деньги. Для оценки инвестиционной привлекательности каждого фонда он вынужден использовать статистический критерий, чтобы отделить фонды, получившие в прошлом прибыль за счёт правильной стратегии управления, от тех, которые получили прибыль только в силу влияния случайных факторов. Чем больше множество фондов, из которых инвестор выбирает, тем больше вероятность того, что какие-то из них покажутся ему потенциально прибыльными, даже если их успех имел не систематический характер. | ||
+ | |||
+ | * Пусть сравниваются способности нового и уже существующего лекарств влиять на ряд симптомов некоторого заболевания, причём, поскольку интерес представляют выводы отдельно по каждому симптому, проверяются покомпонентные гипотезы превосходства нового лекарства над старым. Чем больше список рассматриваемых симптомов, тем более вероятно, что новый препарат окажется лучше старого хотя бы в отношении одного из симптомов. | ||
+ | |||
+ | * Пусть проверяется безопасность нового лекарства путём проверки наличия большого количества побочных эффектов. Чем больше побочных эффектов рассматривается, тем более вероятно, что хотя бы один из них будет признан связанным с употреблением лекарства. | ||
== Обозначения == | == Обозначения == | ||
- | == Типы семейств | + | Пусть <tex>H = \{H_1,\ldots,H_n\}</tex> — множество нулевых гипотез, проверяемых против альтернатив общего вида <tex>H_{Ai} = \bar{H}_i, \: i=1,n</tex>. Если нулевая гипотеза верна, будем писать <tex>H_i=0</tex>, и <tex>H_i=1</tex> в противном случае. |
+ | |||
+ | Пусть <tex>N_0=\{i:\:H_i=0\}</tex> и <tex>N_1=\{i:\:H_i=1\}</tex> — неизвестные множества индексов верных и неверных нулевых гипотез, <tex>n_0=\left|N_0\right|</tex>, <tex>n_1=\left|N_1\right|</tex>, <tex>\left|N_0\cup N_1\right|=n</tex>. Количество отклонённых нулевых гипотез <tex>R</tex> и количество принятых <tex>W = n-R</tex> — наблюдаемые случайные величины, в то время как величины <tex>S</tex>,<tex>T</tex>,<tex>U</tex> и <tex>V</tex> из приведённой ниже таблицы являются ненаблюдаемыми. | ||
+ | <center> | ||
+ | {| class = "standard" | ||
+ | ! | | ||
+ | ! |Число принятых<br />гипотез | ||
+ | ! |Число отвергнутых<br />гипотез | ||
+ | ! |Всего | ||
+ | |- | ||
+ | ! Число верных<br />гипотез | ||
+ | ! style="background: white" | <tex>U</tex> | ||
+ | ! style="background: white" | <tex>V</tex> | ||
+ | ! style="background: white" | <tex>n_0</tex> | ||
+ | |- | ||
+ | ! |Число неверных<br />гипотез | ||
+ | ! style="background: white" | <tex>T</tex> | ||
+ | ! style="background: white" | <tex>S</tex> | ||
+ | ! style="background: white" | <tex>n_1</tex> | ||
+ | |- | ||
+ | ! |Всего | ||
+ | ! style="background: white" | <tex>W</tex> | ||
+ | ! style="background: white" | <tex>R</tex> | ||
+ | ! style="background: white" | <tex>n</tex> | ||
+ | |} | ||
+ | </center> | ||
+ | |||
+ | == Типы семейств гипотез == | ||
Иерархические, неиерархические | Иерархические, неиерархические | ||
+ | |||
== Меры ошибки первого рода при множественной проверке == | == Меры ошибки первого рода при множественной проверке == | ||
+ | |||
== Способы контроля числа ошибок первого рода == | == Способы контроля числа ошибок первого рода == | ||
+ | |||
== Литература == | == Литература == | ||
+ | |||
== Ссылки == | == Ссылки == | ||
- | * [http://en.wikipedia.org/wiki/Multiple_comparisons Multiple comparisons] | + | * [http://en.wikipedia.org/wiki/Multiple_comparisons Multiple comparisons] — статья из английской Википедии |
== Примечания == | == Примечания == |
Версия 12:57, 21 мая 2010
Множественная проверка гипотез — класс задач прикладной статистики, возникающий при необходимости одновременного построения семейства статистических выводов. В каждое такое утверждение, представляющее собой вывод об отвержении гипотезы при проверке статистических гипотез, изначально закладывается возможность ошибки (ложного отклонения гипотезы). Вероятность такой ошибки ограничивается неким достаточно малым значением — уровнем значимости (например, часто берут
), выражающим степень неуверенности в справедливости заключения. При одновременном построении
заключений это приводит к тому, что вероятность совершения хотя бы одной такой ошибки оказывается ограничена сверху величиной вида
, которая является недопустимо большой уже для достаточно малых
, то есть, с достаточно большой вероятностью рассматриваемое множество выводов содержит ошибочные. Для устранения этого эффекта разработан ряд статистических техник.
Содержание |
Примеры
- В 1950 году Джозеф Райн проводил эксперименты по выявлению людей с экстрасенсорными способностями. Каждый испытуемый должен был угадать цвет каждой карты в последовательности из 10 карт. В таком опыте вероятность случайно угадать 9 или 10 карт из 10 составляет 11*2-10 ≈ 0.01 — достаточно редкое событие, чтобы признать его маловероятным, поэтому Райн считал его свидетельством того, что испытуемый — экстрасенс. Однако, поскольку в опыте участвовало 1000 человек, вероятность того, что хотя бы один из них случайно угадает 9 или 10 карт составляла 1-(1-11*2-10)1000 ≈ 0.9998. Действительно, из 1000 испытуемых 12 человек угадали 9 из 10 карт, двое все 10 карт. В последующих экспериментах ни один из них не подтвердил свои способности.
- Пусть инвестор выбирает, в какие из множества инвестиционных фондов вложить свои деньги. Для оценки инвестиционной привлекательности каждого фонда он вынужден использовать статистический критерий, чтобы отделить фонды, получившие в прошлом прибыль за счёт правильной стратегии управления, от тех, которые получили прибыль только в силу влияния случайных факторов. Чем больше множество фондов, из которых инвестор выбирает, тем больше вероятность того, что какие-то из них покажутся ему потенциально прибыльными, даже если их успех имел не систематический характер.
- Пусть сравниваются способности нового и уже существующего лекарств влиять на ряд симптомов некоторого заболевания, причём, поскольку интерес представляют выводы отдельно по каждому симптому, проверяются покомпонентные гипотезы превосходства нового лекарства над старым. Чем больше список рассматриваемых симптомов, тем более вероятно, что новый препарат окажется лучше старого хотя бы в отношении одного из симптомов.
- Пусть проверяется безопасность нового лекарства путём проверки наличия большого количества побочных эффектов. Чем больше побочных эффектов рассматривается, тем более вероятно, что хотя бы один из них будет признан связанным с употреблением лекарства.
Обозначения
Пусть — множество нулевых гипотез, проверяемых против альтернатив общего вида
. Если нулевая гипотеза верна, будем писать
, и
в противном случае.
Пусть и
— неизвестные множества индексов верных и неверных нулевых гипотез,
,
,
. Количество отклонённых нулевых гипотез
и количество принятых
— наблюдаемые случайные величины, в то время как величины
,
,
и
из приведённой ниже таблицы являются ненаблюдаемыми.
Число принятых гипотез | Число отвергнутых гипотез | Всего | |
---|---|---|---|
Число верных гипотез | | | |
Число неверных гипотез | | | |
Всего | | | |
Типы семейств гипотез
Иерархические, неиерархические
Меры ошибки первого рода при множественной проверке
Способы контроля числа ошибок первого рода
Литература
Ссылки
- Multiple comparisons — статья из английской Википедии