Логит-функция

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM GPT-5.5 Thinking и проверена участником Eva Vallistu 10:20, 14 июля 2026 (MSD) Промпт приводится полностью в Обсуждение:Логит-функция

Содержание

1 Основные понятия и определения
2 Свойства логит-функции
3 Обратная функция
4 Логит в логистической регрессии
5 Применение
6 Сравнение с другими функциями связи
7 Реализация
8 См. также
9 Литература

Логит-функция — функция, преобразующая вероятность события в логарифм отношения его шансов. Она используется в математической статистике, анализе категориальных данных, логистической регрессии, обобщённых линейных моделях и задачах бинарной классификации.

Интуитивно логит отвечает на вопрос, насколько событие более вероятно, чем его отсутствие, но выражает это отношение не в исходной шкале вероятностей, а в логарифмической шкале. Если вероятность события равна $1/2$ , то событие и его дополнение имеют равные шансы, а логит равен нулю. Если вероятность больше $1/2$ , логит положителен; если меньше $1/2$ , логит отрицателен.

Необходимо различать три связанных, но разных понятия:

логит-функция преобразует вероятность $p\in(0,1)$ в действительное число;
логистическая функция, или сигмоида, преобразует действительное число в вероятность;
логистическая регрессия — статистическая модель, в которой логит условной вероятности выражается через линейную комбинацию признаков.

Основные понятия и определения

Пусть $A$ — событие, а

$p=\mathbb{P}(A), 0\leq p\leq 1.$

Величина $p$ называется вероятностью события $A$ . Вероятность равна нулю для невозможного события и единице для достоверного события.

Шансы события с вероятностью $p$ определяются как отношение вероятности события к вероятности его дополнения:

$\operatorname{odds}(p)=\frac{p}{1-p}.$

Если $p=1/2$ , то

$\operatorname{odds}(p)=1.$

Это означает, что событие и его отсутствие имеют одинаковые вероятности. Если $p>1/2$ , то шансы больше единицы; если $p<1/2$ , то шансы меньше единицы.

Логарифм шансов — это натуральный логарифм отношения шансов:

$\ln \operatorname{odds}(p) = \ln\frac{p}{1-p}.$

Логит-функция определяется формулой

$\operatorname{logit}(p) = \ln\frac{p}{1-p}, 0<p<1.$ Таким образом, $\operatorname{logit}: (0,1)\to\mathbb{R}.$ Область определения логит-функции — открытый интервал $(0,1)$ , поскольку при $p=0$ отношение шансов равно нулю, а логарифм нуля не определён как конечное действительное число; при $p=1$ знаменатель $1-p$ обращается в нуль. Множество значений логит-функции — вся числовая прямая $\mathbb{R}$ . Использование натурального логарифма является стандартным. При выборе другого основания логарифма функция отличается только постоянным множителем. Поэтому качественные свойства логита не зависят от основания логарифма, но численные значения коэффициентов в моделях изменяются.

Свойства логит-функции

Логит-функция непрерывна и бесконечно дифференцируема на интервале $(0,1)$ . При приближении вероятности к границам интервала значения логита неограниченно убывают или возрастают:

$\lim_{p\to 0+}\operatorname{logit}(p)=-\infty,$

$\lim_{p\to 1-}\operatorname{logit}(p)=+\infty.$

Это отражает поведение шансов. Если вероятность события близка к нулю, то шансы события близки к нулю, а логарифм шансов стремится к $-\infty$ . Если вероятность события близка к единице, то шансы становятся неограниченно большими, а логарифм шансов стремится к $+\infty$ .

Первая производная логит-функции равна

$\frac{d}{dp}\operatorname{logit}(p) = \frac{1}{p(1-p)}.$

Поскольку для всех $p\in(0,1)$ выполняется

$p(1-p)>0,$

то

$\frac{d}{dp}\operatorname{logit}(p)>0.$

Следовательно, логит-функция строго возрастает на всём интервале $(0,1)$ .

Вторая производная имеет вид

$\frac{d^2}{dp^2}\operatorname{logit}(p) = \frac{2p-1}{p^2(1-p)^2}.$

Знаменатель положителен на всём интервале $(0,1)$ , поэтому знак второй производной определяется числителем $2p-1$ . При $0<p<1/2$ вторая производная отрицательна, и логит-функция вогнута. При $1/2<p<1$ вторая производная положительна, и логит-функция выпукла. В точке $p=1/2$ вторая производная равна нулю, и эта точка является точкой перегиба. Логит-функция обладает симметрией относительно точки $(1/2,0)$ : $\operatorname{logit}(1-p) = -\operatorname{logit}(p).$ Действительно, $\operatorname{logit}(1-p) = \ln\frac{1-p}{p} = -\ln\frac{p}{1-p} = -\operatorname{logit}(p).$ Специальное значение в середине интервала: $\operatorname{logit}\left(\frac{1}{2}\right)=0.$ Также выполняется $\operatorname{logit}(p)>0 \Leftrightarrow p>\frac{1}{2}.$ Аналогично, $\operatorname{logit}(p)<0 \Leftrightarrow p<\frac{1}{2}.$ Численные примеры:

если $p=0.1$ , то $\operatorname{logit}(p)=\ln(1/9)\approx -2.197$ ;
если $p=0.2$ , то $\operatorname{logit}(p)=\ln(1/4)\approx -1.386$ ;
если $p=0.5$ , то $\operatorname{logit}(p)=0$ ;
если $p=0.8$ , то $\operatorname{logit}(p)=\ln 4\approx 1.386$ ;
если $p=0.9$ , то $\operatorname{logit}(p)=\ln 9\approx 2.197$ .

Эти значения показывают, что вероятности $0.2$ и $0.8$ дают логиты одинаковой абсолютной величины, но противоположных знаков.

Обратная функция

Логит-функция является обратной к логистической функции, или сигмоиде. Пусть

$z=\ln\frac{p}{1-p}.$

Требуется выразить $p$ через $z$ . Возводим обе части в экспоненту:

$e^z=\frac{p}{1-p}.$

Умножаем на $1-p$ :

$e^z(1-p)=p.$

Раскрываем скобки:

$e^z-e^zp=p.$

Переносим члены с $p$ в одну сторону:

$e^z=p+e^zp=p(1+e^z).$

Отсюда

$p=\frac{e^z}{1+e^z}.$

Деление числителя и знаменателя на $e^z$ даёт эквивалентную форму

$p = \frac{1}{1+e^{-z}}.$

Функция

$\sigma(z)=\frac{1}{1+e^{-z}}$

называется логистической функцией, или сигмоидой. Она задаёт отображение

$\sigma: \mathbb{R}\to(0,1).$

Взаимная обратимость логита и сигмоиды выражается тождествами

$\operatorname{logit}(\sigma(z))=z,$

$\sigma(\operatorname{logit}(p))=p.$

Логит преобразует вероятность из интервала $(0,1)$ в произвольное действительное число. Сигмоида выполняет обратное преобразование: переводит произвольное действительное число в вероятность из интервала $(0,1)$ .

Численные примеры обратного преобразования:

если $z=-2$ , то $\sigma(z)\approx 0.119$ ;
если $z=0$ , то $\sigma(z)=0.5$ ;
если $z=2$ , то $\sigma(z)\approx 0.881$ .

Логит в логистической регрессии

В логистической регрессии моделируется не сама вероятность, а логарифм шансов положительного класса. Для бинарной целевой переменной $Y\in\{0,1\}$ и вектора признаков

$x=(x_1,\ldots,x_m)$

модель записывается в виде

$\operatorname{logit}\bigl(\mathbb{P}(Y=1\mid x)\bigr) = \beta_0+\beta_1x_1+\ldots+\beta_mx_m.$

Правая часть называется линейным предиктором:

$\eta(x)=\beta_0+\sum_{j=1}^{m}\beta_jx_j.$

Тогда вероятность положительного класса получается применением сигмоиды к линейному предиктору:

$\mathbb{P}(Y=1\mid x) = \frac{1} {1+\exp\left(-\beta_0-\sum_{j=1}^{m}\beta_jx_j\right)}.$

Использование логита удобно по нескольким причинам. Во-первых, линейная комбинация признаков может принимать любые действительные значения, тогда как вероятность должна лежать в интервале $(0,1)$ . Логит связывает эти две шкалы. Во-вторых, логарифм шансов имеет естественную интерпретацию через отношение вероятности события к вероятности его отсутствия. В-третьих, логит является канонической функцией связи для распределения Бернулли в классе обобщённых линейных моделей.

Коэффициенты логистической регрессии интерпретируются в шкале логарифма шансов. При увеличении признака $x_j$ на единицу и неизменности остальных признаков логарифм шансов увеличивается на $\beta_j$ . Сами шансы при этом умножаются на

$e^{\beta_j}.$

Если $\beta_j>0$ , то увеличение признака увеличивает шансы положительного класса. Если $\beta_j<0$ , то увеличение признака уменьшает эти шансы. Если $\beta_j=0$ , то при фиксированных остальных признаках данный признак не меняет логарифм шансов.

При этом нельзя утверждать, что вероятность увеличивается на постоянную величину $\beta_j$ . Влияние признака на вероятность зависит от текущего значения линейного предиктора. Одинаковое изменение логарифма шансов даёт разное изменение вероятности вблизи $p=0.5$ и вблизи границ интервала.

Параметры логистической регрессии обычно оцениваются по принципу максимума правдоподобия. Для обучающей выборки

$(x_i,y_i), i=1,\ldots,n,$

где $y_i\in\{0,1\}$ , модель задаёт вероятности

$p_i=\mathbb{P}(Y=1\mid x_i).$

Функция правдоподобия для независимых наблюдений имеет вид

$L(\beta)= \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{1-y_i}.$

Логарифм правдоподобия равен

$\ell(\beta)= \sum_{i=1}^{n} \left( y_i\ln p_i+(1-y_i)\ln(1-p_i) \right).$

Максимизация этой величины эквивалентна минимизации отрицательного логарифма правдоподобия, который в задачах бинарной классификации совпадает с логистической потерей, или бинарной кросс-энтропией. Для численной оптимизации могут использоваться метод Ньютона, квазиньютоновские методы, координатный спуск и градиентный спуск.

Применение

Логит-функция применяется в задачах, где исходная величина является вероятностью, но требуется перейти к неограниченной шкале действительных чисел.

В статистике логит используется для анализа бинарных откликов, построения доверительных интервалов для вероятностей, оценки влияния факторов на шансы события и моделирования категориальных данных.

В машинном обучении логит лежит в основе логистической регрессии и часто используется при переходе от линейного предиктора к вероятности класса. В нейронных сетях термином «логит» также часто называют ненормированные выходы модели до применения сигмоиды или softmax-функции. В таком употреблении логит является не обязательно значением функции $\operatorname{logit}(p)$ , а числом, которое после преобразования становится вероятностью.

В эпидемиологии логит используется при оценке отношения шансов заболевания при наличии или отсутствии фактора риска. Например, коэффициент логистической регрессии может описывать, во сколько раз меняются шансы заболевания при увеличении возраста, изменении дозы препарата или наличии определённого признака.

В эконометрике логит-модели применяются для анализа дискретного выбора: покупки товара, принятия решения, дефолта заёмщика, выбора транспорта или участия в программе. Вероятность выбора моделируется через линейную комбинацию факторов и логистическое преобразование.

В анализе категориальных данных логит используется для построения моделей таблиц сопряжённости, сравнения групп и описания зависимости вероятности ответа от набора объясняющих переменных.

Преимущества логит-преобразования:

переводит вероятность из ограниченного интервала $(0,1)$ в неограниченную шкалу $\mathbb{R}$ ;
имеет простую интерпретацию через шансы и отношение шансов;
симметрично относительно вероятности $1/2$ ;
является канонической функцией связи для распределения Бернулли;
удобно сочетается с линейными моделями и методом максимального правдоподобия;
позволяет интерпретировать коэффициенты через множители $e^{\beta_j}$ для шансов.

Ограничения и численные проблемы:

логит не определён при $p=0$ и $p=1$ ;
при вероятностях, очень близких к нулю или единице, значения логита имеют большой модуль;
численные вычисления могут страдать от переполнения или потери точности;
в прикладных задачах иногда требуется отсекать вероятности от границ интервала;
коэффициенты логистической регрессии линейны в шкале логарифма шансов, но не в шкале вероятностей;
отношение шансов может быть трудно интерпретировать как изменение вероятности без учёта исходного уровня риска.

Численное отсечение вероятностей является техническим приёмом. Если вероятность равна точно нулю или единице, конечный логит не существует; замена этих значений на $\varepsilon$ или $1-\varepsilon$ меняет исходные данные и должна рассматриваться как приближение.

Сравнение с другими функциями связи

Логит и пробит

Пробит-функция связи определяется как обратная функция распределения стандартного нормального распределения:

$g_{\mathrm{probit}}(p)=\Phi^{-1}(p), 0<p<1,$ где $\Phi$ — функция распределения стандартного нормального закона. Обратное преобразование имеет вид $p=\Phi(z).$ Логит и пробит имеют одинаковую область определения $(0,1)$ и одинаковое множество значений $\mathbb{R}$ . Обе функции строго возрастают и симметричны относительно точки $(1/2,0)$ . Обе функции могут использоваться как функции связи для бинарного отклика. Главное отличие состоит в интерпретации. Логит напрямую связан с шансами: $\operatorname{logit}(p)=\ln\frac{p}{1-p}.$ Поэтому коэффициенты логистической регрессии имеют интерпретацию через отношение шансов. В пробит-модели коэффициенты интерпретируются через скрытую нормальную шкалу, что часто менее непосредственно. Хвосты логистического распределения тяжелее хвостов нормального распределения. Поэтому логит и пробит дают близкие, но не совпадающие вероятности, особенно в областях очень малых или очень больших вероятностей. Нельзя утверждать, что одна функция связи всегда лучше другой: выбор зависит от модели, области применения, традиции интерпретации и качества приближения данных.

Логит и комплементарная логарифмическая функция

Комплементарная логарифмическая функция связи имеет вид

$g_{\mathrm{cloglog}}(p) = \ln\bigl(-\ln(1-p)\bigr), 0<p<1.$ Её обратное преобразование: $p= 1-\exp(-e^z).$ Как и логит, эта функция отображает интервал $(0,1)$ на всю числовую прямую. Однако она несимметрична относительно $p=1/2$ . Такая функция связи используется, когда вероятность события имеет асимметричное поведение, например в некоторых моделях времени до события, дискретных моделях риска и задачах с редкими событиями. Логит симметрично обрабатывает вероятности $p$ и $1-p$ , поскольку $\operatorname{logit}(1-p)=-\operatorname{logit}(p).$ Для комплементарной логарифмической функции такой симметрии нет. Поэтому она может быть предпочтительна, если механизм возникновения события асимметричен.

Выбор функции связи

Выбор функции связи определяется не только качеством прогноза, но и интерпретируемостью модели. Логит удобен, когда важна интерпретация коэффициентов через отношение шансов. Пробит удобен в моделях со скрытой нормальной переменной. Комплементарная логарифмическая функция применяется при асимметричных вероятностных механизмах и моделях риска.

Для прикладного анализа обычно сравнивают несколько функций связи по качеству подгонки, устойчивости оценок, интерпретируемости коэффициентов и соответствию предположениям предметной области. Универсально лучшей функции связи не существует.

Реализация

Ниже приведена самостоятельная реализация логит-функции и сигмоиды с использованием NumPy. Реализация проверяет допустимость входных вероятностей и использует отсечение значений, близких к границам интервала.

import numpy as np
 
def logit(p, eps=1e-12):
    p = np.asarray(p, dtype=float)
 
    if np.any((p < 0) | (p > 1)):
        raise ValueError("Вероятности должны принадлежать отрезку [0, 1].")
 
    p_safe = np.clip(p, eps, 1.0 - eps)
    return np.log(p_safe / (1.0 - p_safe))
 
def sigmoid(z):
z = np.asarray(z, dtype=float)
return 1.0 / (1.0 + np.exp(-z))
 
probabilities = np.array([0.01, 0.1, 0.2, 0.5, 0.8, 0.9, 0.99])
 
z = logit(probabilities)
restored_probabilities = sigmoid(z)
 
print("Вероятности:")
print(probabilities)
 
print("\nЛогиты:")
print(np.round(z, 4))
 
print("\nВосстановленные вероятности:")
print(np.round(restored_probabilities, 4))

Отсечение задаётся формулой

$p_{\mathrm{safe}} = \min\bigl(\max(p,\varepsilon),1-\varepsilon\bigr),$

где $\varepsilon$ — малое положительное число. Это численный приём: он предотвращает вычисление логарифма нуля и деление на ноль, но изменяет точные значения $0$ и $1$ , для которых конечный логит не определён.

В библиотеке SciPy логит и обратная к нему функция реализованы как scipy.special.logit и scipy.special.expit. Функция expit является численно устойчивой реализацией сигмоиды.

import numpy as np
from scipy.special import logit, expit
 
probabilities = np.array([0.1, 0.2, 0.5, 0.8, 0.9])
 
z = logit(probabilities)
p_back = expit(z)
 
print("Вероятности:")
print(probabilities)
 
print("\nscipy.special.logit(p):")
print(np.round(z, 4))
 
print("\nscipy.special.expit(logit(p)):")
print(np.round(p_back, 4))

Построение графика логит-функции:

import numpy as np
import matplotlib.pyplot as plt
 
p = np.linspace(0.001, 0.999, 1000)
y = np.log(p / (1.0 - p))
 
plt.figure()
plt.plot(p, y)
plt.xlabel("p")
plt.ylabel("logit(p)")
plt.title("Логит-функция")
plt.grid(True)
plt.show()

Построение графика сигмоиды:

import numpy as np
import matplotlib.pyplot as plt
 
z = np.linspace(-8, 8, 1000)
p = 1.0 / (1.0 + np.exp(-z))
 
plt.figure()
plt.plot(z, p)
plt.xlabel("z")
plt.ylabel("sigma(z)")
plt.title("Логистическая функция")
plt.grid(True)
plt.show()

В первом графике аргументом является вероятность $p\in(0,1)$ , а значением — логарифм шансов. Во втором графике аргументом является произвольное действительное число $z$ , а значением — вероятность $\sigma(z)\in(0,1)$ .

См. также

Литература

Berkson J. Application of the logistic function to bio-assay. — 1944. — Т. 39. — № 227. — С. 357--365.

Cox D. R. The regression analysis of binary sequences. — 1958. — Т. 20. — № 2. — С. 215--242.

Nelder J. A.; Wedderburn R. W. M. Generalized Linear Models. — 1972. — Т. 135. — № 3. — С. 370--384.

McCullagh P.; Nelder J. A. Generalized Linear Models. — Chapman and Hall, 1989.

Agresti A. Categorical Data Analysis. — Wiley, 2013.

Hosmer D. W.; Lemeshow S.; Sturdivant R. X. Applied Logistic Regression. — Wiley, 2013.

Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9B%D0%BE%D0%B3%D0%B8%D1%82-%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F»

Категории: Математическая статистика | Функции | Машинное обучение | Логистическая регрессия