False discovery rate

Материал из MachineLearning.

FDR (также False discovery rate, Ожидаемая доля ложных отклонений) — одна из мер, обобщающих ошибку первого рода, рассматриваемую при проверке статистических гипотез, на многомерный случай задачи множественной проверки гипотез. Величина определена как математическое ожидание доли ошибок среди отвергнутых гипотез.

Содержание

[убрать]

1 Определение
2 Связь с FWER
3 Методы контроля
4 Литература
5 Ссылки

Определение

Пусть $H_{1},...,H_{m}$ — семейство нулевых гипотез, а $p_{1},...,p_{m}$ — соответствующие им достигаемые уровни значимости на статистиках $T_{1},...,T_{m}$ против альтернатив $H'_{1},...,H'_{m}$ . Обозначим за $R$ - число отвергнутых гипотез, а за $V$ - число неверно отвергнутых гипотез, т.е. число ошибок первого рода.

Ожидаемая доля ложных отклонений гипотез, или FDR, определяется следующим образом

$FDR\:=\: \operator{E}\left(\frac{V}{R}[R > 0]\right)$

Контроль над FDR на уровне $\alpha$ означает, что

$FDR\:=\: \operator{E}\left(\frac{V}{R}[R > 0]\right) \leq \alpha$

Связь с FWER

Для любой процедуры множественной проверки гипотез FDR ≤ FWER.

Когда $FDR = FWR$ ?

Допустим все гипотезы $H_{1},...,H_{m}$ верны. $V = R$ Тогда:

$\frac{V}{R}[R > 0] = 0$ если $V=R=0$ с вероятностью $P(V=0)$ $\frac{V}{R}[R > 0] = 1$ если $V=R=1$ , $V=R=2$ , ..., $V=R=m$ с вероятностью </tex>P$V\geq1$</tex>

Методы контроля

Метод Бенджамини-Иекутиели

Метод Бенджамини-Хохберга — частный случай метода Бенджамини-Иекутиели.

Обеспечивает контроль $FDR$ при условии независимости статистик $T_i$ . Или при условии $PRDS$ &mdash positive regression dependence on subset^[1] on $T_i,\: i \in M_0$ :

$\operator{P}(X\in D|T_i=x)$ не убывает по $x\:\forall i\in M_0$ ,

где $M_0$ - множество индексов верных гипотез, $D$ - произвольное возрастающее множество, то есть, такое, что из $x\in D$ и $y \geq x$ следует $y\in D$