FWER

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (→Метод Холма)
м
Строка 2: Строка 2:
== Обозначения ==
== Обозначения ==
-
Пусть <tex>H = \{H_i\}, \: i=1,\ldots,m</tex> &mdash; множество нулевых гипотез, проверяемых против альтернатив общего вида <tex>H_{Ai} = \bar{H}_i, \: i=1,\ldots,m</tex>. Если нулевая гипотеза верна, будем писать <tex>H_i=0</tex>, и <tex>H_i=1</tex> в противном случае.
+
Пусть <tex>H = \{H_i\}, \: i=1,\ldots,m</tex> &mdash; множество нулевых гипотез, проверяемых против альтернатив общего вида <tex>H_{Ai} = \bar{H}_i, \: i=1,\ldots,m</tex>. Если нулевая гипотеза верна, будем писать <tex>H_i=0,</tex> и <tex>H_i=1</tex> в противном случае.
За <tex>p =\{p_1,\ldots,p_m\}</tex> обозначим множество [[Достигаемый уровень значимости|пи-величин]], полученных при проверке соответствующих гипотез <tex>H_i</tex> подходящими статистическими критериями.
За <tex>p =\{p_1,\ldots,p_m\}</tex> обозначим множество [[Достигаемый уровень значимости|пи-величин]], полученных при проверке соответствующих гипотез <tex>H_i</tex> подходящими статистическими критериями.
-
Пусть <tex>M_0=\{i:\:H_i=0\}</tex> и <tex>M_1=\{i:\:H_i=1\}</tex> &mdash; неизвестные множества индексов верных и неверных нулевых гипотез, <tex>m_0=\left|M_0\right|</tex>, <tex>m_1=\left|M_1\right|</tex>, <tex>\left|M_0\cup M_1\right|=m</tex>. Количество отклонённых нулевых гипотез <tex>R</tex> и количество принятых <tex>W = m-R</tex> &mdash; наблюдаемые случайные величины, в то время как величины <tex>S</tex>,<tex>T</tex>,<tex>U</tex> и <tex>V</tex> из приведённой ниже таблицы являются ненаблюдаемыми.
+
Пусть <tex>M_0=\{i:\:H_i=0\}</tex> и <tex>M_1=\{i:\:H_i=1\}</tex> &mdash; неизвестные множества индексов верных и неверных нулевых гипотез, <tex>m_0=\left|M_0\right|</tex>, <tex>m_1=\left|M_1\right|</tex>, <tex>\left|M_0\cup M_1\right|=m</tex>. Количество отклонённых нулевых гипотез <tex>R</tex> и количество принятых <tex>W = m-R</tex> &mdash; наблюдаемые случайные величины, в то время как величины <tex>S, \,T, \,U</tex> и <tex>V</tex> из приведённой ниже таблицы являются ненаблюдаемыми.
<center>
<center>
{| class = "standard"
{| class = "standard"
Строка 44: Строка 44:
Хотя данная процедура позволяет ограничить вероятность ошибки первого рода, мощность её невелика, поскольку каждая из гипотез проверяется на уровне значимости <tex>\alpha/m</tex>. При достаточно больших <tex>m</tex> этот уровень настолько низок, что гипотезы будут отвергаться крайне неохотно.
Хотя данная процедура позволяет ограничить вероятность ошибки первого рода, мощность её невелика, поскольку каждая из гипотез проверяется на уровне значимости <tex>\alpha/m</tex>. При достаточно больших <tex>m</tex> этот уровень настолько низок, что гипотезы будут отвергаться крайне неохотно.
-
===Метод Холма===
+
Существуют процедуры, которые равномерно превосходят по мощности процедуру, основанную на поправке Бонферрони, и не делают никаких дополнительных предположений. Таким образом, использование поправки Бонферрони нецелесообразно.
 +
 
 +
===Метод Холма<ref name="holm">Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70. http://www.jstor.org/stable/4615733</ref>===
Пусть <tex>p_{(1)}\leq \ldots \leq p_{(m)}</tex> &mdash; уровни значимости <tex>p_i,</tex> упорядоченные по неубыванию, <tex>H_{(1)}, \ldots, H_{(m)}</tex> &mdash; соответствующие <tex>p_{(i)}</tex> гипотезы. Процедура Холма определена следующим образом.
Пусть <tex>p_{(1)}\leq \ldots \leq p_{(m)}</tex> &mdash; уровни значимости <tex>p_i,</tex> упорядоченные по неубыванию, <tex>H_{(1)}, \ldots, H_{(m)}</tex> &mdash; соответствующие <tex>p_{(i)}</tex> гипотезы. Процедура Холма определена следующим образом.
:Шаг 1. Если <tex>p_{(1)}\geq\alpha/m</tex>, принять гипотезы <tex>H_{(1)}, \ldots, H_{(m)}</tex> и остановиться. Иначе, если <tex>p_{(1)}>\alpha/m</tex>, отвергнуть гипотезу <tex>H_{(1)}</tex> и продолжить проверку оставшихся гипотез на уровне значимости <tex>\alpha/(m-1)</tex>.
:Шаг 1. Если <tex>p_{(1)}\geq\alpha/m</tex>, принять гипотезы <tex>H_{(1)}, \ldots, H_{(m)}</tex> и остановиться. Иначе, если <tex>p_{(1)}>\alpha/m</tex>, отвергнуть гипотезу <tex>H_{(1)}</tex> и продолжить проверку оставшихся гипотез на уровне значимости <tex>\alpha/(m-1)</tex>.
:Шаг 2. Если <tex>p_{(2)}\geq\alpha/(m-1)</tex>, принять гипотезы <tex>H_{(2)}, \ldots, H_{(m)}</tex> и остановиться. Иначе, если <tex>p_{(2)}>\alpha/(m-1)</tex>, отвергнуть гипотезу <tex>H_{(2)}</tex> и продолжить проверку оставшихся гипотез на уровне значимости <tex>\alpha/(m-2)</tex>.
:Шаг 2. Если <tex>p_{(2)}\geq\alpha/(m-1)</tex>, принять гипотезы <tex>H_{(2)}, \ldots, H_{(m)}</tex> и остановиться. Иначе, если <tex>p_{(2)}>\alpha/(m-1)</tex>, отвергнуть гипотезу <tex>H_{(2)}</tex> и продолжить проверку оставшихся гипотез на уровне значимости <tex>\alpha/(m-2)</tex>.
:И т.д.
:И т.д.
-
Процедура обеспечивает <tex>FWER\leq\alpha</tex> при любом характере зависимости между <tex>p_i.</tex>
+
Процедура обеспечивает <tex>\operator{FWER}\leq\alpha</tex> при любом характере зависимости между <tex>p_i.</tex>
===Метод Хохберга===
===Метод Хохберга===

Версия 18:16, 9 ноября 2011

FWER (familywise error rate, групповая вероятность ошибки (первого рода)) — одна из мер, обобщающих ошибку первого рода, рассматриваемую при проверке статистических гипотез, на многомерный случай задачи множественной проверки гипотез. Величина определена как вероятность совершить хотя бы одну ошибку первого рода.

Содержание

Обозначения

Пусть H = \{H_i\}, \: i=1,\ldots,m — множество нулевых гипотез, проверяемых против альтернатив общего вида H_{Ai} = \bar{H}_i, \: i=1,\ldots,m. Если нулевая гипотеза верна, будем писать H_i=0, и H_i=1 в противном случае.

За p =\{p_1,\ldots,p_m\} обозначим множество пи-величин, полученных при проверке соответствующих гипотез H_i подходящими статистическими критериями.

Пусть M_0=\{i:\:H_i=0\} и M_1=\{i:\:H_i=1\} — неизвестные множества индексов верных и неверных нулевых гипотез, m_0=\left|M_0\right|, m_1=\left|M_1\right|, \left|M_0\cup M_1\right|=m. Количество отклонённых нулевых гипотез R и количество принятых W = m-R — наблюдаемые случайные величины, в то время как величины S, \,T, \,U и V из приведённой ниже таблицы являются ненаблюдаемыми.

Число принятых
гипотез 		Число отвергнутых
гипотез 		Всего
Число верных
гипотез 		U V m_0
Число неверных
гипотез 		T S m_1
Всего W R m

Задача состоит в том, чтобы выбрать метод, допускающий минимальное число ложных отклонений гипотез V и ложных принятий T.

По определению \operator{FWER}=\operator{P}\left(V\geq 1\right). Контроль над \operator{FWER} на фиксированном уровне \alpha означает, что выполняется неравенство \operator{FWER}\leq\alpha.

Методы контроля FWER

Поправка Бонферрони

Метод Бонферрони, самый известный способ решения задачи множественной проверки гипотез, утверждает, что для контроля над \operator{FWER} на уровне \alpha достаточно, чтобы отвергались те и только те гипотезы H_i, для которых p_i \leq \alpha/m. Соответствующие модифицированные достигаемые уровни значимости вычисляются по формуле

\tilde{p}_i=\min\left(mp_i,\,1\right).

Контроль над \operator{FWER} обеспечивается по неравенству Буля:

\operator{FWER} \:=\: \operator{P}\left(V\geq 1\right) \:\leq\: \operator{P}\left(\bigcup_{i=1}^{m_0} \left\{ \tilde{P}_i \leq \alpha \right\} \right) \:\leq\: \sum_{i=1}^{m_0}\operator{P}\left( \tilde{P}_i \leq \alpha \right) \:\leq\: \sum_{i=1}^{m_0} \alpha/m \:=\: m_0\alpha/m \:\leq\: \alpha.

Данное неравенство выполняется при любых p_i, безо всяких ограничений на характер зависимости между ними.

Хотя данная процедура позволяет ограничить вероятность ошибки первого рода, мощность её невелика, поскольку каждая из гипотез проверяется на уровне значимости \alpha/m. При достаточно больших m этот уровень настолько низок, что гипотезы будут отвергаться крайне неохотно.

Существуют процедуры, которые равномерно превосходят по мощности процедуру, основанную на поправке Бонферрони, и не делают никаких дополнительных предположений. Таким образом, использование поправки Бонферрони нецелесообразно.

Метод Холма[1]

Пусть p_{(1)}\leq \ldots \leq p_{(m)} — уровни значимости p_i, упорядоченные по неубыванию, H_{(1)}, \ldots, H_{(m)} — соответствующие p_{(i)} гипотезы. Процедура Холма определена следующим образом.

Шаг 1. Если p_{(1)}\geq\alpha/m, принять гипотезы H_{(1)}, \ldots, H_{(m)} и остановиться. Иначе, если p_{(1)}>\alpha/m, отвергнуть гипотезу H_{(1)} и продолжить проверку оставшихся гипотез на уровне значимости \alpha/(m-1).
Шаг 2. Если p_{(2)}\geq\alpha/(m-1), принять гипотезы H_{(2)}, \ldots, H_{(m)} и остановиться. Иначе, если p_{(2)}>\alpha/(m-1), отвергнуть гипотезу H_{(2)} и продолжить проверку оставшихся гипотез на уровне значимости \alpha/(m-2).
И т.д.

Процедура обеспечивает \operator{FWER}\leq\alpha при любом характере зависимости между p_i.

Метод Хохберга

Метод Шидака

minP

Перестановочные методы

Метод Хоммеля

Последовательная проверка

Контроль FWER для иерархических семейств гипотез

Связь с другими мерами ошибки первого рода

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=FWER»
Личные инструменты