Функция Логит

Материал из MachineLearning.

Функция logit - важная часть логистического регрессионного анализа. В англоязычной транскрипции Logit произносится как [ˈloʊdʒɪt] с длинным "o" и мягким "g"

Функция logit - инверсия "сигмоидальной", или "логистической" функции, используемой в математике, особенно в статистике. logit – это число p между 0 и 1 даваемое формулой

$\operatorname{logit}(p)=\log\left( \frac{p}{1-p} \right) =\log(p)-\log(1-p). \!\,$

В целях данной статьи, не имеет сколько-нибудь важного значения выбор основания логарифма в приведенной формуле – лишь бы оно было больше 1. Практически чаще всего в статистике используют натуральные логарифмы с основанием e.

Если p - вероятность некоторого исхода в бинарном случае, тогда отношение p / (1 − p) называют перевесом (английское слово odds также имеет близкие по смыслу значения «фора», «гандикап», «преимущество»).

logit вероятности есть не что иное как логарифм перевеса; так же разность между значениями logit от двух вероятностей - логарифм отношения перевесов (R). Таким образом, при переходе к логарифмической функции logit обеспечивается быстрое написание формул, а отношение перевесов заменяется вычитанием и суммированием logit’ов.

$\operatorname{log}(R)=\log\left( \frac{{p_1}/(1-p_1)}{{p_2}/(1-p_2)} \right) =\log\left( \frac{p_1}{1-p_1} \right) - \log\left(\frac{p_2}{1-p_2}\right)=\operatorname{logit}(p_1)-\operatorname{logit}(p_2). \!\,$

Типовой график logit(p) для диапазона [0;1] и основанияe для логарифмирования

История

logit-модель была введена в 1944 году Джозефом Берксоном (Joseph Berkson), который впервые употребил этот термин. Очевидна аналогия с весьма похожей моделью пробита, развитой Честером Иттнером Блиссом (Chester Ittner Bliss) в 1934. В 1949 году стараниями Барнарда (G. A. Barnard) появилась комбинация log-odds, т.е. логарифм перевесов, что полностью эквивалентно логиту от вероятности.

Использования и свойства

logit в логистическом регрессионном анализе - отдельный случай функциональной связи в обобщенной линейной модели: это - каноническая функция для биномиального распределения. Функция logit – взятая с обратным знаком производная от функции бинарной энтропии. logit также занимает центральное место в вероятностной модели Рэша (Rasch) для измерений, проводимых в психологии, оценке качества образовательного процесса, в других областях.