Обобщённые линейные модели

Материал из MachineLearning.

Версия от 12:00, 14 июля 2026; Nikita Zinoviсh (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM Gemini Pro 3.1 и проверена участником Nikita Zinoviсh 16:00, 14 июля 2026 (MSD)

Обобщённая линейная модель (ОЛМ) — это гибкое обобщение классической линейной регрессии, позволяющее моделировать зависимости для целевых переменных, распределение которых отличается от нормального. Концепция была впервые сформулирована Джоном Нелдером и Робертом Уэддерберном в 1972 году.

В то время как классическая регрессия (включая метод наименьших квадратов) предполагает, что математическое ожидание зависимой переменной является линейной комбинацией предикторов, а ошибки распределены нормально с постоянной дисперсией (гомоскедастичность), ОЛМ позволяет отклику иметь распределение из экспоненциального семейства, а дисперсии — зависеть от математического ожидания. Это позволяет рассматривать логистическую, пуассоновскую и гамма-регрессии как частные случаи единого математического аппарата.

Содержание

1 Структура обобщённой линейной модели
2 Оценка параметров: Метод максимального правдоподобия
- 2.1 Пошаговый вывод уравнений правдоподобия
- 2.2 Итерационно взвешенный метод наименьших квадратов

Структура обобщённой линейной модели

Любая модель класса ОЛМ строго задаётся через три составляющие:

Случайная компонента: задаёт распределение вероятностей зависимой переменной $Y$ при заданных значениях признаков $X$ . Предполагается, что распределение принадлежит к экспоненциальному семейству.
Систематическая компонента: формирует скалярный линейный предиктор $\eta$ как линейную комбинацию вектора параметров $\beta$ и вектора признаков $x$ .
Функция связи: гладкая, монотонно возрастающая и дифференцируемая функция $g(\cdot)$ , которая связывает математическое ожидание зависимой переменной $\mu = \mathrm{E}[Y|X]$ с линейным предиктором.

Случайная компонента и экспоненциальное семейство

Говорят, что случайная величина $Y$ принадлежит к экспоненциальному семейству, если её плотность (или функция вероятности для дискретных распределений) может быть представлена в каноническом виде:

$f(y; \theta, \phi) = \exp\left( \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) \right)$

где:

$\theta$ — канонический (или естественный) параметр распределения;
$\phi$ — дисперсионный параметр (параметр масштаба);
$b(\theta)$ — кумулянтная функция, форма которой однозначно определяет конкретное распределение из семейства;
$a(\phi)$ и $c(y, \phi)$ — известные функции.

Вывод математического ожидания и дисперсии

Важнейшее свойство экспоненциального семейства состоит в том, что моменты распределения могут быть аналитически выражены через производные функции $b(\theta)$ .

Запишем логарифм функции плотности (или вероятности) для одного наблюдения:

$\ln f(y; \theta, \phi) = \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi)$

Продифференцируем логарифм плотности по параметру $\theta$ , чтобы получить функцию счёта (score function):

$\frac{\partial \ln f(y; \theta, \phi)}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)}$

Из теории оценивания известно, что при регулярности семейства распределений математическое ожидание функции счёта тождественно равно нулю:

$\mathrm{E}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = 0$

Подставим сюда наше выражение:

$\mathrm{E}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = 0 \implies \frac{\mathrm{E}[Y] - b'(\theta)}{a(\phi)} = 0 \implies \mathrm{E}[Y] = \mu = b'(\theta)$

Таким образом, математическое ожидание $Y$ равно первой производной кумулянтной функции.

Теперь найдём вторую производную логарифма плотности по $\theta$ :

$\frac{\partial^2 \ln f(y; \theta, \phi)}{\partial \theta^2} = -\frac{b''(\theta)}{a(\phi)}$

Используем классическое теоретико-вероятностное тождество для вторых производных (связь между дисперсией функции счёта и математическим ожиданием её производной):

$\mathrm{E}\left[ \frac{\partial^2 \ln f(Y; \theta, \phi)}{\partial \theta^2} \right] + \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = 0$

Поскольку математическое ожидание функции счёта равно нулю, её второй момент равен её дисперсии:

$\mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = \mathrm{D}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = \mathrm{D}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = \frac{\mathrm{D}[Y]}{a^2(\phi)}$

Подставляя вычисленные компоненты в тождество, получаем:

$-\frac{b''(\theta)}{a(\phi)} + \frac{\mathrm{D}[Y]}{a^2(\phi)} = 0 \implies \mathrm{D}[Y] = b''(\theta) a(\phi)$

Определив функцию дисперсии как вторую производную кумулянтной функции $V(\mu) = b''(\theta)$ , мы получаем финальное выражение для дисперсии:

$\mathrm{D}[Y] = V(\mu) a(\phi)$

Систематическая компонента

Систематическая компонента определяет, как входные признаки $x = (x_1, \dots, x_p)^T$ влияют на модель. Это влияние выражается через скалярный линейный предиктор $\eta$ :

$\eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = x^T \beta$

где $\beta$ — неизвестный вектор параметров, подлежащий оценке.

Функция связи

Функция связи $g </ g> сопоставляет математическое ожидание <tex> \mu$ линейному предиктору:

$\eta = g(\mu)$

$\mu = g^{-1}(\eta)$

Особое значение имеет каноническая функция связи. Она возникает в том случае, если линейный предиктор приравнивается непосредственно к естественному параметру: $\theta = \eta$ . Это приводит к существенному упрощению уравнений правдоподобия и гарантирует, что модель обладает достаточными статистиками для оценки вектора параметров $\beta$ .

Примеры классических моделей и их канонических функций связи:

Нормальное распределение: $g(\mu) = \mu$ (тождественная функция связи).
Распределение Бернулли: $g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right)$ (логит-функция).
Распределение Пуассона: $g(\mu) = \ln(\mu)$ (логарифмическая функция связи).

Оценка параметров: Метод максимального правдоподобия

Для обучения ОЛМ применяется метод максимального правдоподобия. Пусть дана обучающая выборка из $n </ n> независимых наблюдений <tex> (x_i, y_i)$ . Логарифм функции правдоподобия имеет вид:

$\ell(\beta) = \sum_{i=1}^n \left( \frac{y_i \theta_i - b(\theta_i)}{a(\phi_i)} + c(y_i, \phi_i) \right)$

Пошаговый вывод уравнений правдоподобия

Для нахождения оценки максимума правдоподобия необходимо вычислить градиент функции $\ell(\beta)$ по параметрам $\beta_j$ и приравнять его к нулю. Применим правило дифференцирования сложной функции:

$\frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \theta_i} \cdot \frac{\partial \theta_i}{\partial \mu_i} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot \frac{\partial \eta_i}{\partial \beta_j}$

Вычислим каждую частную производную по отдельности:

Производная логарифма правдоподобия по каноническому параметру:
$\frac{\partial \ell_i}{\partial \theta_i} = \frac{y_i - b'(\theta_i)}{a(\phi_i)} = \frac{y_i - \mu_i}{a(\phi_i)}$
Производная канонического параметра по математическому ожиданию. Так как $\mu_i = b'(\theta_i)$ , то производная $\frac{\partial \mu_i}{\partial \theta_i} = b''(\theta_i) = V(\mu_i)$ . Соответственно, по теореме о производной обратной функции:
$\frac{\partial \theta_i}{\partial \mu_i} = \frac{1}{V(\mu_i)} </0> </li><li> Производная математического ожидания по линейному предиктору выражается через функцию связи. Так как <tex> \eta_i = g(\mu_i)$ , по теореме о производной обратной функции получаем:
$\frac{\partial \mu_i}{\partial \eta_i} = \frac{1}{g'(\mu_i)}$
Производная линейного предиктора $\eta_i = \sum_{k=0}^p \beta_k x_{ik}$ по весу $\beta_j$ :
$\frac{\partial \eta_i}{\partial \beta_j} = x_{ij}$

Подставим все четыре компонента обратно в цепное правило:

$\frac{\partial \ell_i}{\partial \beta_j} = \frac{y_i - \mu_i}{a(\phi_i)} \cdot \frac{1}{V(\mu_i)} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot x_{ij} = \frac{y_i - \mu_i}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij}$

Суммируя по всем наблюдениям, мы получаем систему уравнений правдоподобия (score equations):

$\sum_{i=1}^n \frac{(y_i - \mu_i)}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} = 0, \quad j=0, 1, \dots, p$

Итерационно взвешенный метод наименьших квадратов

Поскольку полученная система уравнений нелинейна относительно параметров $\beta$ , для её решения применяется итерационный алгоритм Ньютона — Рафсона или метод скоринга Фишера. В рамках ОЛМ метод скоринга Фишера эквивалентен итерационно взвешенному методу наименьших квадратов (ИВМНК).

В методе скоринга Фишера вместо классического гессиана используется Информационная матрица Фишера $\mathcal{I}(\beta)$ , элементы которой представляют собой математическое ожидание вторых производных логарифма правдоподобия, взятых с обратным знаком:

$\mathcal{I}_{jk} = -\mathrm{E}\left[ \frac{\partial^2 \ell}{\partial \beta_j \partial \beta_k} \right] = \mathrm{E}\left[ \left(\frac{\partial \ell}{\partial \beta_j}\right) \left(\frac{\partial \ell}{\partial \beta_k}\right) \right]$

Используя независимость наблюдений и свойства дисперсии, распишем каждый элемент информационной матрицы:

$\mathcal{I}_{jk} = \sum_{i=1}^n \mathrm{E}\left[ \frac{(Y_i - \mu_i)^2}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} \right]$

Вынося детерминированные величины за знак математического ожидания и учитывая, что $\mathrm{E}[(Y_i - \mu_i)^2] = \mathrm{D}[Y_i] = V(\mu_i) a(\phi_i)$ , получаем:

$\mathcal{I}_{jk} = \sum_{i=1}^n \frac{V(\mu_i) a(\phi_i)}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} = \sum_{i=1}^n \frac{1}{a(\phi_i) V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik}$

Введём стандартную параметризацию для масштаба индивидуального наблюдения: $a(\phi_i) = \phi / w_i$ , где $w_i$ — известные веса наблюдений (априорная точность), а $\phi$ — общий параметр дисперсии. Перепишем элементы информационной матрицы:

$\mathcal{I}_{jk} = \frac{1}{\phi} \sum_{i=1}^n w_i \frac{1}{V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik}$

Определим диагональную матрицу весов $W$ размера $n \times n$ с элементами:

$W_{ii} = \frac{w_i}{V(\mu_i) \left( g'(\mu_i) \right)^2} </0> </dd></dl> Тогда вся информационная матрица Фишера в компактном матричном виде запишется как: <dl><dd><tex> \mathcal{I}(\beta) = \frac{1}{\phi} X^T W X$

Аналогично запишем вектор градиента логарифма правдоподобия (вектор счёта) $U(\beta)$ :

$U(\beta) = \frac{1}{\phi} X^T W D (y - \mu)$

где $D$ — диагональная матрица, содержащая производные функции связи на диагонали: $D_{ii} = g'(\mu_i)$ .

Шаг обновления параметров в методе Фишера задаётся уравнением:

$\beta^{(t+1)} = \beta^{(t)} + \left( \mathcal{I}(\beta^{(t)}) \right)^{-1} U(\beta^{(t)})$

Подставляя матричные представления, мы видим, что общий дисперсионный параметр $\phi </0> сокращается: </li></ul> <dl><dd><tex> \beta^{(t+1)} = \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </0> </dd></dl> Раскроем слагаемые, представив <tex> \beta^{(t)} </0> как результат умножения единичной матрицы <tex> (X^T W^{(t)} X)^{-1} (X^T W^{(t)} X) </0> на <tex> \beta^{(t)} </0>: <dl><dd><tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} X \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </0> </dd><dd><tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} \left( X \beta^{(t)} + D^{(t)} (y - \mu^{(t)}) \right) </0> </dd></dl> Введем вектор псевдооткликов <tex> z^{(t)} </0> с элементами: <dl><dd><tex> z_i^{(t)} = \eta_i^{(t)} + (y_i - \mu_i^{(t)}) g'(\mu_i^{(t)}) </0> </dd></dl> Финальная рекуррентная формула полностью совпадает с классическим решением средневзвешенного метода наименьших квадратов на каждой итерации: <dl><dd><tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)} </0> </dd></dl> == Диагностика качества модели == Поскольку в ОЛМ распределение остатков в общем случае не является нормальным, классический [[Коэффициент детерминации|коэффициент детерминации]] <tex> R^2 </0> и обычные остатки не подходят для оценки качества подогнанной модели. === Девианс === Адекватность модели оценивается с помощью девианса, который обобщает концепцию суммы квадратов остатков. Масштабированный девианс определяется через логарифм отношения правдоподобий исследуемой модели и «насыщенной» модели (модели, в которой число параметров равно числу наблюдений, то есть <tex> \hat{\mu}_i = y_i </0>): <dl><dd><tex> D^* = 2 \left( \ell(\mathrm{saturated}) - \ell(\mathrm{model}) \right) </0> </dd></dl> При достаточно большом размере выборки масштабированный девианс имеет [[Распределение хи-квадрат|распределение хи-квадрат]] с <tex> n-p </0> степенями свободы, где <tex> p </0> — количество оцениваемых параметров модели. === Остатки === Вместо стандартных разностей <tex> y_i - \hat{\mu}_i </0> в ОЛМ применяют: <ul><li> '''Остатки Пирсона''': стандартизируют отклонение с учетом функции дисперсии: </li></ul> <dl><dd><tex> r_P = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}} </0> </dd></dl> <ul><li> '''Остатки девианса''': компоненты, из которых складывается суммарный девианс модели. Они имеют распределение, более близкое к нормальному, и чаще используются для визуальной диагностики выбросов. </li></ul> == См. также == <ul><li> [[Линейная регрессия]] </li><li> [[Логистическая регрессия]] </li><li> [[Пуассоновская регрессия]] </li><li> [[Экспоненциальное семейство распределений]] </li><li> [[Метод максимального правдоподобия]] </li><li> [[Метод наименьших квадратов]] </li></ul> == Литература == <ul><li> Воронцов К. В. ''Математические методы обучения по прецедентам (теория обучения машин)''. — М.: МФТИ, 2007. </li><li> Айвазян С. А., Мхитарян В. С. ''Прикладная статистика и основы эконометрики''. — М.: ЮНИТИ, 1998. </li><li> McCullagh, P., Nelder, J. A. ''Generalized Linear Models'', 2nd ed. Chapman and Hall/CRC, 1989. </li><li> Hastie, T., Tibshirani, R., Friedman, J. ''The Elements of Statistical Learning: Data Mining, Inference, and Prediction''. Springer, 2009.$

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D0%BE%D0%B1%D1%89%D1%91%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8»

Обобщённые линейные модели

Материал из MachineLearning.

Содержание

Структура обобщённой линейной модели

Случайная компонента и экспоненциальное семейство

Вывод математического ожидания и дисперсии

Систематическая компонента

Функция связи

Оценка параметров: Метод максимального правдоподобия

Пошаговый вывод уравнений правдоподобия

Итерационно взвешенный метод наименьших квадратов

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты