Метод Бенджамини-Иекутиели

Материал из MachineLearning.

Версия от 11:35, 6 февраля 2014; Ildar (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Метод Бенджамини-Иекутиели — один из нисходящих методов контроля ожидаемой доли ложных отклонений гипотез (FDR), который, в отличии от метода Бенджамини-Хохберга, не накладывает дополнительных ограничений на статистики гипотез $T_i$ .

Определение

Пусть $H_{1},...,H_{m}$ — семейство гипотез, а $p_{1},...,p_{m}$ — соответствующие им достигаемые уровни значимости. Обозначим за $R$ - число отвергнутых гипотез, а за $V$ - число неверно отвергнутых гипотез, т.е. число ошибок первого рода.

Ожидаемая доля ложных отклонений гипотез, или FDR, определяется следующим образом

$FDR\:=\: \operator{E}\left(\frac{V}{R}[R > 0]\right)$

Контроль над FDR на уровне $\alpha$ означает, что

$FDR\:=\: \operator{E}\left(\frac{V}{R}[R > 0]\right) \leq \alpha$

Метод Бенджамини-Иекутиели

Это нисходящая процедура(по аналогии с методом Холма и методом Бенджамини-Хохберга) со следующими уровнями значимости

$\alpha_1 = \frac{\alpha}{mc}\:,\:\dots\:,\:\alpha_i = \frac{i\alpha}{mc}\:, \:\dots\:, \:\alpha_m = \frac{\alpha}{c}$ ,

где $c = \sum_{i=1}^m\frac{1}{i}$

Пусть $p_{(1)}\leq \ldots \leq p_{(m)}$ — уровни значимости $p_i$ , упорядоченные по неубыванию, $H_{(1)}, \ldots, H_{(m)}$ — соответствующие $p_{(i)}$ гипотезы. Процедура метода Бенджамини-Иекутиели определена следующим образом.

Шаг 1. Если $p_{(1)}\geq\frac{\alpha}{mc}$ , принять гипотезы $H_{(1)}, \ldots, H_{(m)}$ и остановиться. Иначе, если $p_{(1)}<\frac{\alpha}{mc}$ , отвергнуть гипотезу $H_{(1)}$ и продолжить проверку оставшихся гипотез на уровне значимости $\frac{2\alpha}{mc}$ .

Шаг 2. Если $p_{(2)}\geq\frac{2\alpha}{mc}$ , принять гипотезы $H_{(2)}, \ldots, H_{(m)}$ и остановиться. Иначе, если $p_{(2)}<\frac{2\alpha}{mc}$ , отвергнуть гипотезу $H_{(2)}$ и продолжить проверку оставшихся гипотез на уровне значимости $\frac{3\alpha}{mc}$ .

И т.д.

Если обозначить число верных гипотез как $\:m_0$ , то метод Бенджамини-Иекутиели обеспечивает контроль над FDR на уровне $\frac{m_0}{m}\alpha \leq \alpha$ при любых $p_i$ и $T_i$ .

Альтернативная постановка

Переходим к модифицированным достигаемым уровням значимости:

$\tilde p_{(i)}\: =\: \min\left(1,\: \max\left(\frac{mp_{(i)}c}{i}, \:\tilde p_{(i-1)}\right)\right)$ ,

где $p_{(i)}$ - $i$ -ый член вариационного ряда достигаемых уровней значимости

$p_{(1)} \: \leq\: p_{(2)}\: \leq \: \dots \: \leq p_{(m)}$

Замечание

Пусть статистики гипотез $T_i$ независимы или выполняется следующее свойство (PRDS on $T_i,\: i \in M_0$ ):

$\operator{P}(X\in D|T_i=x)$ не убывает по $x\:\forall i\in M_0$ ,

где $M_0$ - множество индексов верных гипотез, $D$ - произвольное возрастающее множество, то есть, такое, что из $x\in D$ и $y \geq x$ следует $y\in D$ .

Тогда можно положить константу $c$ равной единице и получить метод Бенджамини-Хохберга. Другими словами метод Бенджамини-Хохберга - частный случай метода Бенджамини-Иекутиели.

Пример

$n=20, \;m=200, \;m_0 = 150;$

$X_{ij} \sim N(0,1), \;i=1,\ldots,m_0, \;j=1,\ldots,n;$

$X_{ij} \sim N(1,1),\; i=m_0+1,\ldots,m, \;j=1,\ldots,n;$

$H_i: EX_{ij} = 0, \;H_i': EX_{ij} \ne 0;$

для проверки используем одновыборочный критерий Стьюдента.

С поправкой Холма(Метод Холма):

	Верных $H_i$	Неверных $H_i$	Всего
Принятых $H_i$	150	24	174
Отвергнутых $H_i$	0	26	26
Всего	150	50	200

С методом Бенджамини-Иекутиели:

	Верных $H_i$	Неверных $H_i$	Всего
Принятых $H_i$	150	10	160
Отвергнутых $H_i$	0	40	40
Всего	150	50	200

Реализации

MATLAB: Benjamini and Hochberg/Yekutieli Procedure for Controlling False Discovery Rate - реализация на MathWorks.com
R: функция p.adjust (с параметром method="BY") из стандартного пакета stats позволяет получить модифицированные уровни значимости с учетом поправки метода Бенджамини-Иекуитеил.