FWER

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (→Поправка Бонферрони)
м (→Метод ХолмаHolm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70. http://www.jstor.org/stable/4615733)
 
(8 промежуточных версий не показаны.)
Строка 2: Строка 2:
== Обозначения ==
== Обозначения ==
-
Пусть <tex>H = \{H_i\}, \: i=1,\ldots,m</tex> &mdash; множество нулевых гипотез, проверяемых против альтернатив общего вида <tex>H_{Ai} = \bar{H}_i, \: i=1,\ldots,m</tex>. Если нулевая гипотеза верна, будем писать <tex>H_i=0</tex>, и <tex>H_i=1</tex> в противном случае.
+
Пусть <tex>H = \{H_i\}, \: i=1,\ldots,m</tex> &mdash; множество нулевых гипотез, проверяемых против альтернатив общего вида <tex>H_{Ai} = \bar{H}_i, \: i=1,\ldots,m</tex>. Если нулевая гипотеза верна, будем писать <tex>H_i=0,</tex> и <tex>H_i=1</tex> в противном случае.
За <tex>p =\{p_1,\ldots,p_m\}</tex> обозначим множество [[Достигаемый уровень значимости|пи-величин]], полученных при проверке соответствующих гипотез <tex>H_i</tex> подходящими статистическими критериями.
За <tex>p =\{p_1,\ldots,p_m\}</tex> обозначим множество [[Достигаемый уровень значимости|пи-величин]], полученных при проверке соответствующих гипотез <tex>H_i</tex> подходящими статистическими критериями.
-
Пусть <tex>M_0=\{i:\:H_i=0\}</tex> и <tex>M_1=\{i:\:H_i=1\}</tex> &mdash; неизвестные множества индексов верных и неверных нулевых гипотез, <tex>m_0=\left|M_0\right|</tex>, <tex>m_1=\left|M_1\right|</tex>, <tex>\left|M_0\cup M_1\right|=m</tex>. Количество отклонённых нулевых гипотез <tex>R</tex> и количество принятых <tex>W = m-R</tex> &mdash; наблюдаемые случайные величины, в то время как величины <tex>S</tex>,<tex>T</tex>,<tex>U</tex> и <tex>V</tex> из приведённой ниже таблицы являются ненаблюдаемыми.
+
Пусть <tex>M_0=\{i:\:H_i=0\}</tex> и <tex>M_1=\{i:\:H_i=1\}</tex> &mdash; неизвестные множества индексов верных и неверных нулевых гипотез, <tex>m_0=\left|M_0\right|</tex>, <tex>m_1=\left|M_1\right|</tex>, <tex>\left|M_0\cup M_1\right|=m</tex>. Количество отклонённых нулевых гипотез <tex>R</tex> и количество принятых <tex>W = m-R</tex> &mdash; наблюдаемые случайные величины, в то время как величины <tex>S, \,T, \,U</tex> и <tex>V</tex> из приведённой ниже таблицы являются ненаблюдаемыми.
<center>
<center>
{| class = "standard"
{| class = "standard"
Строка 32: Строка 32:
Задача состоит в том, чтобы выбрать метод, допускающий минимальное число ложных отклонений гипотез <tex>V</tex> и ложных принятий <tex>T</tex>.
Задача состоит в том, чтобы выбрать метод, допускающий минимальное число ложных отклонений гипотез <tex>V</tex> и ложных принятий <tex>T</tex>.
-
По определению <tex>\operator{FWER}=\operator{P}\left(V\geq 1\right)</tex>. Контроль над <tex>\operator{FWER}</tex> на фиксированном уровне <tex>\alpha</tex> означает, что выполняется неравенство <tex>\operator{FWER}\leq\alpha</tex>.
+
По определению <tex>\operator{FWER}=\operator{P}\left(V\geq 1\right)</tex>. Контроль над <tex>\operator{FWER}</tex> на фиксированном уровне <tex>\alpha</tex> означает, что выполняется неравенство <tex>\operator{FWER}\leq\alpha.</tex>
== Методы контроля FWER==
== Методы контроля FWER==
===Поправка Бонферрони===
===Поправка Бонферрони===
Метод Бонферрони, самый известный способ решения задачи множественной проверки гипотез, утверждает, что для контроля над <tex>\operator{FWER}</tex> на уровне <tex>\alpha</tex> достаточно, чтобы отвергались те и только те гипотезы <tex>H_i</tex>, для которых <tex> p_i \leq \alpha/m</tex>. Соответствующие модифицированные достигаемые уровни значимости вычисляются по формуле
Метод Бонферрони, самый известный способ решения задачи множественной проверки гипотез, утверждает, что для контроля над <tex>\operator{FWER}</tex> на уровне <tex>\alpha</tex> достаточно, чтобы отвергались те и только те гипотезы <tex>H_i</tex>, для которых <tex> p_i \leq \alpha/m</tex>. Соответствующие модифицированные достигаемые уровни значимости вычисляются по формуле
-
::<tex>\tilde{p}_i=\min\left(mp_i,1\right)</tex>.
+
::<tex>\tilde{p}_i=\min\left(mp_i,\,1\right).</tex>
Контроль над <tex>\operator{FWER}</tex> обеспечивается по неравенству Буля:
Контроль над <tex>\operator{FWER}</tex> обеспечивается по неравенству Буля:
:: <tex>\operator{FWER} \:=\: \operator{P}\left(V\geq 1\right) \:\leq\: \operator{P}\left(\bigcup_{i=1}^{m_0} \left\{ \tilde{P}_i \leq \alpha \right\} \right) \:\leq\: \sum_{i=1}^{m_0}\operator{P}\left( \tilde{P}_i \leq \alpha \right) \:\leq\: \sum_{i=1}^{m_0} \alpha/m \:=\: m_0\alpha/m \:\leq\: \alpha.</tex>
:: <tex>\operator{FWER} \:=\: \operator{P}\left(V\geq 1\right) \:\leq\: \operator{P}\left(\bigcup_{i=1}^{m_0} \left\{ \tilde{P}_i \leq \alpha \right\} \right) \:\leq\: \sum_{i=1}^{m_0}\operator{P}\left( \tilde{P}_i \leq \alpha \right) \:\leq\: \sum_{i=1}^{m_0} \alpha/m \:=\: m_0\alpha/m \:\leq\: \alpha.</tex>
 +
Данное неравенство выполняется при любых <tex>p_i</tex>, безо всяких ограничений на характер зависимости между ними.
-
===Метод Холма===
+
Хотя данная процедура позволяет ограничить вероятность ошибки первого рода, мощность её невелика, поскольку каждая из гипотез проверяется на уровне значимости <tex>\alpha/m</tex>. При достаточно больших <tex>m</tex> этот уровень настолько низок, что гипотезы будут отвергаться крайне неохотно.
-
===Метод Хохберга===
+
 
 +
Существуют процедуры, которые равномерно превосходят по мощности процедуру, основанную на поправке Бонферрони, и не делают никаких дополнительных предположений. Таким образом, использование поправки Бонферрони нецелесообразно.
 +
 
 +
===Метод Холма<ref name="holm">Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70. http://www.jstor.org/stable/4615733</ref>===
 +
Пусть <tex>p_{(1)}\leq \ldots \leq p_{(m)}</tex> &mdash; уровни значимости <tex>p_i,</tex> упорядоченные по неубыванию, <tex>H_{(1)}, \ldots, H_{(m)}</tex> &mdash; соответствующие <tex>p_{(i)}</tex> гипотезы. Процедура Холма определена следующим образом.
 +
:Шаг 1. Если <tex>p_{(1)}\geq\alpha/m</tex>, принять гипотезы <tex>H_{(1)}, \ldots, H_{(m)}</tex> и остановиться. Иначе, если <tex>p_{(1)}<\alpha/m</tex>, отвергнуть гипотезу <tex>H_{(1)}</tex> и продолжить проверку оставшихся гипотез на уровне значимости <tex>\alpha/(m-1)</tex>.
 +
:Шаг 2. Если <tex>p_{(2)}\geq\alpha/(m-1)</tex>, принять гипотезы <tex>H_{(2)}, \ldots, H_{(m)}</tex> и остановиться. Иначе, если <tex>p_{(2)}<\alpha/(m-1)</tex>, отвергнуть гипотезу <tex>H_{(2)}</tex> и продолжить проверку оставшихся гипотез на уровне значимости <tex>\alpha/(m-2)</tex>.
 +
:И т.д.
 +
Процедура обеспечивает <tex>\operator{FWER}\leq\alpha</tex> при любом характере зависимости между <tex>p_i.</tex>
 +
 
 +
===Метод Хохберга<ref name="hochberg"> Hochberg, Y. (1988). А sharper Bonferroni procedure for multiple tests of significance. Biometrika, 75(4), 800-802.</ref>===
===Метод Шидака===
===Метод Шидака===
===minP===
===minP===
Строка 57: Строка 68:
* [http://en.wikipedia.org/wiki/Familywise_error_rate Familywise error rate] &mdash; статья из английской Википедии.
* [http://en.wikipedia.org/wiki/Familywise_error_rate Familywise error rate] &mdash; статья из английской Википедии.
-
 
+
== Примечания ==
 +
<references />
[[Категория:Прикладная статистика]]
[[Категория:Прикладная статистика]]
[[Категория:Множественная проверка гипотез]]
[[Категория:Множественная проверка гипотез]]
{{Stub}}
{{Stub}}

Текущая версия

FWER (familywise error rate, групповая вероятность ошибки (первого рода)) — одна из мер, обобщающих ошибку первого рода, рассматриваемую при проверке статистических гипотез, на многомерный случай задачи множественной проверки гипотез. Величина определена как вероятность совершить хотя бы одну ошибку первого рода.

Содержание

Обозначения

Пусть H = \{H_i\}, \: i=1,\ldots,m — множество нулевых гипотез, проверяемых против альтернатив общего вида H_{Ai} = \bar{H}_i, \: i=1,\ldots,m. Если нулевая гипотеза верна, будем писать H_i=0, и H_i=1 в противном случае.

За p =\{p_1,\ldots,p_m\} обозначим множество пи-величин, полученных при проверке соответствующих гипотез H_i подходящими статистическими критериями.

Пусть M_0=\{i:\:H_i=0\} и M_1=\{i:\:H_i=1\} — неизвестные множества индексов верных и неверных нулевых гипотез, m_0=\left|M_0\right|, m_1=\left|M_1\right|, \left|M_0\cup M_1\right|=m. Количество отклонённых нулевых гипотез R и количество принятых W = m-R — наблюдаемые случайные величины, в то время как величины S, \,T, \,U и V из приведённой ниже таблицы являются ненаблюдаемыми.

Число принятых
гипотез 		Число отвергнутых
гипотез 		Всего
Число верных
гипотез 		U V m_0
Число неверных
гипотез 		T S m_1
Всего W R m

Задача состоит в том, чтобы выбрать метод, допускающий минимальное число ложных отклонений гипотез V и ложных принятий T.

По определению \operator{FWER}=\operator{P}\left(V\geq 1\right). Контроль над \operator{FWER} на фиксированном уровне \alpha означает, что выполняется неравенство \operator{FWER}\leq\alpha.

Методы контроля FWER

Поправка Бонферрони

Метод Бонферрони, самый известный способ решения задачи множественной проверки гипотез, утверждает, что для контроля над \operator{FWER} на уровне \alpha достаточно, чтобы отвергались те и только те гипотезы H_i, для которых p_i \leq \alpha/m. Соответствующие модифицированные достигаемые уровни значимости вычисляются по формуле

\tilde{p}_i=\min\left(mp_i,\,1\right).

Контроль над \operator{FWER} обеспечивается по неравенству Буля:

\operator{FWER} \:=\: \operator{P}\left(V\geq 1\right) \:\leq\: \operator{P}\left(\bigcup_{i=1}^{m_0} \left\{ \tilde{P}_i \leq \alpha \right\} \right) \:\leq\: \sum_{i=1}^{m_0}\operator{P}\left( \tilde{P}_i \leq \alpha \right) \:\leq\: \sum_{i=1}^{m_0} \alpha/m \:=\: m_0\alpha/m \:\leq\: \alpha.

Данное неравенство выполняется при любых p_i, безо всяких ограничений на характер зависимости между ними.

Хотя данная процедура позволяет ограничить вероятность ошибки первого рода, мощность её невелика, поскольку каждая из гипотез проверяется на уровне значимости \alpha/m. При достаточно больших m этот уровень настолько низок, что гипотезы будут отвергаться крайне неохотно.

Существуют процедуры, которые равномерно превосходят по мощности процедуру, основанную на поправке Бонферрони, и не делают никаких дополнительных предположений. Таким образом, использование поправки Бонферрони нецелесообразно.

Метод Холма[1]

Пусть p_{(1)}\leq \ldots \leq p_{(m)} — уровни значимости p_i, упорядоченные по неубыванию, H_{(1)}, \ldots, H_{(m)} — соответствующие p_{(i)} гипотезы. Процедура Холма определена следующим образом.

Шаг 1. Если p_{(1)}\geq\alpha/m, принять гипотезы H_{(1)}, \ldots, H_{(m)} и остановиться. Иначе, если p_{(1)}<\alpha/m, отвергнуть гипотезу H_{(1)} и продолжить проверку оставшихся гипотез на уровне значимости \alpha/(m-1).
Шаг 2. Если p_{(2)}\geq\alpha/(m-1), принять гипотезы H_{(2)}, \ldots, H_{(m)} и остановиться. Иначе, если p_{(2)}<\alpha/(m-1), отвергнуть гипотезу H_{(2)} и продолжить проверку оставшихся гипотез на уровне значимости \alpha/(m-2).
И т.д.

Процедура обеспечивает \operator{FWER}\leq\alpha при любом характере зависимости между p_i.

Метод Хохберга[1]

Метод Шидака

minP

Перестановочные методы

Метод Хоммеля

Последовательная проверка

Контроль FWER для иерархических семейств гипотез

Связь с другими мерами ошибки первого рода

Ссылки

Примечания

Источник — «http://machinelearning.ru/wiki/index.php?title=FWER»
Личные инструменты