Обобщённые линейные модели

Материал из MachineLearning.

(Различия между версиями)

Версия 12:04, 14 июля 2026

Статья написана с использованием LLM Gemini Pro 3.1 и проверена участником Nikita Zinoviсh 16:00, 14 июля 2026 (MSD)

Обобщённая линейная модель (ОЛМ) — это гибкое обобщение классической линейной регрессии, позволяющее моделировать зависимости для целевых переменных, распределение которых отличается от нормального. Концепция была впервые сформулирована Джоном Нелдером и Робертом Уэддерберном in 1972 году.

В то время как классическая регрессия (включая метод наименьших квадратов) предполагает, что математическое ожидание зависимой переменной является линейной комбинацией предикторов, а ошибки распределены нормально с постоянной дисперсией (гомоскедастичность), ОЛМ позволяет отклику иметь распределение из экспоненциального семейства, а дисперсии — зависеть от математического ожидания. Это позволяет рассматривать логистическую, пуассоновскую и гамма-регрессии как частные случаи единого математического аппарата.

Структура обобщённой линейной модели

Любая модель класса ОЛМ строго задаётся через три составляющие:

Случайная компонента: задаёт распределение вероятностей зависимой переменной $Y$ при заданных значениях признаков $X$ . Предполагается, что распределение принадлежит к экспоненциальному семейству.
Систематическая компонента: формирует скалярный линейный предиктор $\eta$ как линейную комбинацию вектора параметров $\beta$ и вектора признаков $x$ .
Функция связи: гладкая, монотонно возрастающая и дифференцируемая функция $g(\cdot)$ , которая связывает математическое ожидание зависимой переменной $\mu = \mathrm{E}[Y|X]$ с линейным предиктором.

Случайная компонента и экспоненциальное семейство

Говорят, что случайная величина $Y$ принадлежит к экспоненциальному семейству, если её плотность (или функция вероятности для дискретных распределений) может быть представлена в каноническом виде:

$f(y; \theta, \phi) = \exp\left( \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) \right)$

где:

$\theta$ — канонический (или естественный) параметр распределения;
$\phi$ — дисперсионный параметр (параметр масштаба);
$b(\theta)$ — кумулянтная функция, форма которой однозначно определяет конкретное распределение из семейства;
$a(\phi) </0> и <tex> c(y, \phi) </0> — известные функции. </dd></dl> ==== Вывод математического ожидания и дисперсии ==== Важнейшее свойство экспоненциального семейства состоит в том, что моменты распределения могут быть аналитически выражены через производные функции <tex> b(\theta) </0>. Запишем логарифм функции плотности для одного наблюдения: <dl><dd><tex> \ln f(y; \theta, \phi) = \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi)$
Продифференцируем логарифм плотности по параметру $\theta </0>, чтобы получить функцию счёта: </li></ul> <dl><dd><tex> \frac{\partial \ln f(y; \theta, \phi)}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)} </ / По теореме о регулярности семейства распределений математическое ожидание функции счёта тождественно равно нулю: </dd></dl> <dl><dd><tex> \mathrm{E}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = 0 </ / Подставим сюда наше выражение: </dd></dl> <dl><dd><tex> \mathrm{E}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = 0 \implies \frac{\mathrm{E}[Y] - b'(\theta)}{a(\phi)} = 0 \implies \mathrm{E}[Y] = \mu = b'(\theta) </ / Таким образом, математическое ожидание <tex> Y </0> равно первой производной кумулянтной функции. </dd></dl> Теперь найдём вторую производную логарифма плотности по <tex> \theta </0>: <dl><dd><tex> \frac{\partial^2 \ln f(y; \theta, \phi)}{\partial \theta^2} = -\frac{b''(\theta)}{a(\phi)} </ / Используем классическое теоретико-вероятностное тождество для вторых производных: </dd></dl> <dl><dd><tex> \mathrm{E}\left[ \frac{\partial^2 \ln f(Y; \theta, \phi)}{\partial \theta^2} \right] + \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = 0 </ / Поскольку математическое ожидание функции счёта равно нулю, её второй момент равен её дисперсии: </dd></dl> <dl><dd><tex> \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = \mathrm{D}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = \mathrm{D}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = \frac{\mathrm{D}[Y]}{a^2(\phi)} </ / Подставляя вычисленные компоненты в тождество, получаем: </dd></dl> <dl><dd><tex> -\frac{b''(\theta)}{a(\phi)} + \frac{\mathrm{D}[Y]}{a^2(\phi)} = 0 \implies \mathrm{D}[Y] = b''(\theta) a(\phi) </ / Определив функцию дисперсии как вторую производную кумулянтной функции <tex> V(\mu) = b''(\theta) </0>, мы получаем финальное выражение для дисперсии: </dd></dl> <dl><dd><tex> \mathrm{D}[Y] = V(\mu) a(\phi) </0> </dd></dl> === Систематическая компонента === Систематическая компонента определяет, как входные признаки <tex> x = (x_1, \dots, x_p)^T </0> влияют на модель. Это влияние выражается через скалярный линейный предиктор <tex> \eta </0>: <dl><dd><tex> \eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = x^T \beta </ / где <tex> \beta </0> — неизвестный вектор параметров, подлежащий оценке. </dd></dl> === Функция связи === Функция связи <tex> g </0> сопоставляет математическое ожидание <tex> \mu </0> линейному предиктору: <dl><dd><tex> \eta = g(\mu) </ / :<tex> \mu = g^{-1}(\eta) </ / Особое значение имеет '''каноническая функция связи'''. Она возникает в том случае, если линейный предиктор приравнивается непосредственно к естественному параметру: <tex> \theta = \eta </0>. Это приводит к существенному упрощению уравнений правдоподобия и гарантирует, что модель обладает [[Достаточная статистика|достаточными статистиками]] для оценки вектора параметров <tex> \beta </0>. </dd></dl> Примеры классических моделей и их канонических функций связи: <ul><li> '''Нормальное распределение''': <tex> g(\mu) = \mu </0> (тождественная функция связи). </li><li> '''Распределение Бернулли''': <tex> g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right) </0> (логит-функция). </li><li> '''Распределение Пуассона''': <tex> g(\mu) = \ln(\mu) </0> (логарифмическая функция связи). </li></ul> == Оценка параметров: Метод максимального правдоподобия == Для обучения ОЛМ применяется [[Метод максимального правдоподобия|метод максимального правдоподобия]]. Пусть дана обучающая выборка из <tex> n </0> независимых наблюдений <tex> (x_i, y_i) </0>. Логарифм функции правдоподобия имеет вид: <dl><dd><tex> \ell(\beta) = \sum_{i=1}^n \left( \frac{y_i \theta_i - b(\theta_i)}{a(\phi_i)} + c(y_i, \phi_i) \right) </ / ==== Пошаговый вывод уравнений правдоподобия ==== </dd></dl> Для нахождения оценки максимума правдоподобия необходимо вычислить градиент функции <tex> \ell(\beta) </0> по параметрам <tex> \beta_j </0> и приравнять его к нулю. Применим [[Теорема о производной сложной функции|правило дифференцирования сложной функции]]: <dl><dd><tex> \frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \theta_i} \cdot \frac{\partial \theta_i}{\partial \mu_i} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot \frac{\partial \eta_i}{\partial \beta_j} </ / Вычислим каждую частную производную по отдельности: </dd></dl> <ol><li> Производная логарифма правдоподобия по каноническому параметру: <dl><dd><tex> \frac{\partial \ell_i}{\partial \theta_i} = \frac{y_i - b'(\theta_i)}{a(\phi_i)} = \frac{y_i - \mu_i}{a(\phi_i)} </ / # Производная канонического параметра по математическому ожиданию. Так как <tex> \mu_i = b'(\theta_i) </0>, то производная <tex> \frac{\partial \mu_i}{\partial \theta_i} = b''(\theta_i) = V(\mu_i) </0>. Соответственно, по теореме о производной обратной функции: </dd><dd><tex> \frac{\partial \theta_i}{\partial \mu_i} = \frac{1}{V(\mu_i)} </ / # Производная математического ожидания по линейному предиктору выражается через функцию связи. Так как <tex> \eta_i = g(\mu_i) </0>, по теореме о производной обратной функции получаем: </dd><dd><tex> \frac{\partial \mu_i}{\partial \eta_i} = \frac{1}{g'(\mu_i)} </ / # Производная линейного предиктора <tex> \eta_i = \sum_{k=0}^p \beta_k x_{ik} </0> по весу <tex> \beta_j </0>: </dd><dd><tex> \frac{\partial \eta_i}{\partial \beta_j} = x_{ij} </ / Подставим все четыре компонента обратно в цепное правило: </dd></dl> </li></ol> <dl><dd><tex> \frac{\partial \ell_i}{\partial \beta_j} = \frac{y_i - \mu_i}{a(\phi_i)} \cdot \frac{1}{V(\mu_i)} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot x_{ij} = \frac{y_i - \mu_i}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} </ / Суммируя по всем наблюдениям, мы получаем систему уравнений правдоподобия: </dd></dl> <dl><dd><tex> \sum_{i=1}^n \frac{(y_i - \mu_i)}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} = 0, \quad j=0, 1, \dots, p </ / === Итерационно взвешенный метод наименьших квадратов === </dd></dl> Поскольку полученная система уравнений нелинейна относительно параметров <tex> \beta </0>, для её решения применяется метод скоринга Фишера. В рамках ОЛМ метод скоринга Фишера эквивалентен '''итерационно взвешенному методу наименьших квадратов''' (ИВМНК). В методе скоринга Фишера вместо классического [[Матрица Гессе|гессиана]] используется [[Информационная матрица Фишера]] <tex> \mathcal{I}(\beta) </0>, элементы которой представляют собой математическое ожидание вторых производных логарифма правдоподобия, взятых с обратным знаком: <dl><dd><tex> \mathcal{I}_{jk} = -\mathrm{E}\left[ \frac{\partial^2 \ell}{\partial \beta_j \partial \beta_k} \right] = \mathrm{E}\left[ \left(\frac{\partial \ell}{\partial \beta_j}\right) \left(\frac{\partial \ell}{\partial \beta_k}\right) \right] </ / Используя независимость наблюдений и свойства дисперсии, распишем каждый элемент информационной матрицы: </dd></dl> <dl><dd><tex> \mathcal{I}_{jk} = \sum_{i=1}^n \mathrm{E}\left[ \frac{(Y_i - \mu_i)^2}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} \right] </ / Вынося детерминированные величины за знак математического ожидания и учитывая, что <tex> \mathrm{E}[(Y_i - \mu_i)^2] = \mathrm{D}[Y_i] = V(\mu_i) a(\phi_i) </0>, получаем: </dd></dl> <dl><dd><tex> \mathcal{I}_{jk} = \sum_{i=1}^n \frac{V(\mu_i) a(\phi_i)}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} = \sum_{i=1}^n \frac{1}{a(\phi_i) V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} </ / Введём стандартную параметризацию для масштаба индивидуального наблюдения: <tex> a(\phi_i) = \phi / w_i </0>, где <tex> w_i </0> — известные веса наблюдений, а <tex> \phi </0> — общий параметр дисперсии. Перепишем элементы информационной матрицы: </dd></dl> <dl><dd><tex> \mathcal{I}_{jk} = \frac{1}{\phi} \sum_{i=1}^n w_i \frac{1}{V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} </ / Определим диагональную матрицу весов <tex> W </0> размера <tex> n \times n </0> с элементами: </dd></dl> <dl><dd><tex> W_{ii} = \frac{w_i}{V(\mu_i) \left( g'(\mu_i) \right)^2} </ / Тогда вся информационная матрица Фишера в компактном матричном виде запишется как: </dd></dl> <dl><dd><tex> \mathcal{I}(\beta) = \frac{1}{\phi} X^T W X </ / Аналогично запишем вектор градиента логарифма правдоподобия <tex> U(\beta) </0>: </dd></dl> <dl><dd><tex> U(\beta) = \frac{1}{\phi} X^T W D (y - \mu) </ / где <tex> D </0> — диагональная матрица, содержащая производные функции связи на диагонали: <tex> D_{ii} = g'(\mu_i) </0>. </dd></dl> Шаг обновления параметров в методе Фишера задаётся уравнением: <dl><dd><tex> \beta^{(t+1)} = \beta^{(t)} + \left( \mathcal{I}(\beta^{(t)}) \right)^{-1} U(\beta^{(t)}) </ / Подставляя матричные представления, мы видим, что общий дисперсионный параметр <tex> \phi </0> сокращается: </dd></dl> <dl><dd><tex> \beta^{(t+1)} = \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </ / Раскроем слагаемые, представив <tex> \beta^{(t)} </0> через единичную матрицу <tex> (X^T W^{(t)} X)^{-1} (X^T W^{(t)} X) </0>: </dd></dl> <dl><dd><tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} X \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </ / :<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} \left( X \beta^{(t)} + D^{(t)} (y - \mu^{(t)}) \right) </ / Введем вектор псевдооткликов <tex> z^{(t)} </0> с элементами: </dd></dl> <dl><dd><tex> z_i^{(t)} = \eta_i^{(t)} + (y_i - \mu_i^{(t)}) g'(\mu_i^{(t)}) </ / Финальная рекуррентная формула полностью совпадает с классическим решением средневзвешенного метода наименьших квадратов на каждой итерации: </dd></dl> <dl><dd><tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)} </ / == Диагностика качества модели == </dd></dl> Поскольку в ОЛМ распределение остатков в общем случае не является нормальным, классический [[Коэффициент детерминации|коэффициент детерминации]] <tex> R^2 </0> и обычные остатки не подходят для оценки качества подогнанной модели. === Девианс === Адекватность модели оценивается с помощью девианса, который обобщает концепцию суммы квадратов остатков. Масштабированный девианс определяется через логарифм отношения правдоподобий исследуемой модели и «насыщенной» модели (модели, в которой число параметров равно числу наблюдений, то есть <tex> \hat{\mu}_i = y_i </0>): <dl><dd><tex> D^* = 2 \left( \ell(\mathrm{saturated}) - \ell(\mathrm{model}) \right) </ / При достаточно большом размере выборки масштабированный девианс имеет [[Распределение хи-квадрат|распределение хи-квадрат]] с <tex> n-p </0> степенями свободы, где <tex> p </0> — количество оцениваемых параметров модели. </dd></dl> === Остатки === Вместо стандартных разностей <tex> y_i - \hat{\mu}_i </0> в ОЛМ применяют: <ul><li> '''Остатки Пирсона''': стандартизируют отклонение с учетом функции дисперсии: </li></ul> <dl><dd><tex> r_P = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}} </ / * '''Остатки девианса''': компоненты, из которых складывается суммарный девианс модели. Они имеют распределение, более близкое к нормальному, и чаще используются для визуальной диагностики выбросов. </dd></dl> == См. также == <ul><li> [[Линейная регрессия]] </li><li> [[Логистическая регрессия]] </li><li> [[Пуассоновская регрессия]] </li><li> [[Экспоненциальное семейство распределений]] </li><li> [[Метод максимального правдоподобия]] </li><li> [[Метод наименьших квадратов]] </li></ul> == Литература == <ul><li> Воронцов К. В. ''Математические методы обучения по прецедентам (теория обучения машин)''. — М.: МФТИ, 2007. </li><li> Айвазян С. А., Мхитарян В. С. ''Прикладная статистика и основы эконометрики''. — М.: ЮНИТИ, 1998. </li><li> McCullagh, P., Nelder, J. A. ''Generalized Linear Models'', 2nd ed. Chapman and Hall/CRC, 1989. </li><li> Hastie, T., Tibshirani, R., Friedman, J. ''The Elements of Statistical Learning: Data Mining, Inference, and Prediction''. Springer, 2009.$

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D0%BE%D0%B1%D1%89%D1%91%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8»

@@ Строка 1: / Строка 1: @@
 {{well|Статья написана с использованием LLM '''Gemini Pro 3.1''' и проверена участником [[Участник:Nikita Zinoviсh|Nikita Zinoviсh]] 16:00, 14 июля 2026 (MSD)}}
-'''Обобщённая линейная модель''' (ОЛМ) — это гибкое обобщение классической [[Линейная регрессия|линейной регрессии]], позволяющее моделировать зависимости для целевых переменных, распределение которых отличается от [[Нормальное распределение|нормального]]. Концепция была впервые сформулирована Джоном Нелдером и Робертом Уэддерберном в 1972 году.
+'''Обобщённая линейная модель''' (ОЛМ) — это гибкое обобщение классической [[Линейная регрессия|линейной регрессии]], позволяющее моделировать зависимости для целевых переменных, распределение которых отличается от [[Нормальное распределение|нормального]]. Концепция была впервые сформулирована Джоном Нелдером и Робертом Уэддерберном in 1972 году.
 В то время как классическая регрессия (включая [[Метод наименьших квадратов|метод наименьших квадратов]]) предполагает, что математическое ожидание зависимой переменной является линейной комбинацией предикторов, а ошибки распределены нормально с постоянной дисперсией ([[Гомоскедастичность|гомоскедастичность]]), ОЛМ позволяет отклику иметь распределение из [[Экспоненциальное семейство распределений|экспоненциального семейства]], а дисперсии — зависеть от математического ожидания. Это позволяет рассматривать [[Логистическая регрессия|логистическую]], пуассоновскую и гамма-регрессии как частные случаи единого математического аппарата.
@@ Строка 22: / Строка 22: @@
 * <tex> \phi </tex> — дисперсионный параметр (параметр масштаба);
 * <tex> b(\theta) </tex> — кумулянтная функция, форма которой однозначно определяет конкретное распределение из семейства;
-* <tex> a(\phi) </tex> и <tex> c(y, \phi) </tex> — известные функции.
+* <tex> a(\phi) </0> и <tex> c(y, \phi) </0> — известные функции.
 ==== Вывод математического ожидания и дисперсии ====
-Важнейшее свойство экспоненциального семейства состоит в том, что моменты распределения могут быть аналитически выражены через производные функции <tex> b(\theta) </tex>.
+Важнейшее свойство экспоненциального семейства состоит в том, что моменты распределения могут быть аналитически выражены через производные функции <tex> b(\theta) </0>.
-Запишем логарифм функции плотности (или вероятности) для одного наблюдения:
+Запишем логарифм функции плотности для одного наблюдения:
 :<tex> \ln f(y; \theta, \phi) = \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) </tex>
-Продифференцируем логарифм плотности по параметру <tex> \theta </tex>, чтобы получить функцию счёта (score function):
+Продифференцируем логарифм плотности по параметру <tex> \theta </0>, чтобы получить функцию счёта:
-:<tex> \frac{\partial \ln f(y; \theta, \phi)}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)} </tex>
+:<tex> \frac{\partial \ln f(y; \theta, \phi)}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)} </ / По теореме о регулярности семейства распределений математическое ожидание функции счёта тождественно равно нулю:
-Из теории оценивания известно, что при регулярности семейства распределений математическое ожидание функции счёта тождественно равно нулю:
+:<tex> \mathrm{E}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = 0 </ / Подставим сюда наше выражение:
-:<tex> \mathrm{E}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = 0 </tex>
+:<tex> \mathrm{E}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = 0 \implies \frac{\mathrm{E}[Y] - b'(\theta)}{a(\phi)} = 0 \implies \mathrm{E}[Y] = \mu = b'(\theta) </ / Таким образом, математическое ожидание <tex> Y </0> равно первой производной кумулянтной функции.
-Подставим сюда наше выражение:
+Теперь найдём вторую производную логарифма плотности по <tex> \theta </0>:
-:<tex> \mathrm{E}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = 0 \implies \frac{\mathrm{E}[Y] - b'(\theta)}{a(\phi)} = 0 \implies \mathrm{E}[Y] = \mu = b'(\theta) </tex>
+:<tex> \frac{\partial^2 \ln f(y; \theta, \phi)}{\partial \theta^2} = -\frac{b''(\theta)}{a(\phi)} </ / Используем классическое теоретико-вероятностное тождество для вторых производных:
-Таким образом, математическое ожидание <tex> Y </tex> равно первой производной кумулянтной функции.
+:<tex> \mathrm{E}\left[ \frac{\partial^2 \ln f(Y; \theta, \phi)}{\partial \theta^2} \right] + \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = 0 </ / Поскольку математическое ожидание функции счёта равно нулю, её второй момент равен её дисперсии:
-Теперь найдём вторую производную логарифма плотности по <tex> \theta </tex>:
+:<tex> \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = \mathrm{D}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = \mathrm{D}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = \frac{\mathrm{D}[Y]}{a^2(\phi)} </ / Подставляя вычисленные компоненты в тождество, получаем:
-:<tex> \frac{\partial^2 \ln f(y; \theta, \phi)}{\partial \theta^2} = -\frac{b''(\theta)}{a(\phi)} </tex>
+:<tex> -\frac{b''(\theta)}{a(\phi)} + \frac{\mathrm{D}[Y]}{a^2(\phi)} = 0 \implies \mathrm{D}[Y] = b''(\theta) a(\phi) </ / Определив функцию дисперсии как вторую производную кумулянтной функции <tex> V(\mu) = b''(\theta) </0>, мы получаем финальное выражение для дисперсии:
-Используем классическое теоретико-вероятностное тождество для вторых производных (связь между дисперсией функции счёта и математическим ожиданием её производной):
+:<tex> \mathrm{D}[Y] = V(\mu) a(\phi) </0>
-:<tex> \mathrm{E}\left[ \frac{\partial^2 \ln f(Y; \theta, \phi)}{\partial \theta^2} \right] + \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = 0 </tex>
-Поскольку математическое ожидание функции счёта равно нулю, её второй момент равен её дисперсии:
-:<tex> \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = \mathrm{D}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = \mathrm{D}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = \frac{\mathrm{D}[Y]}{a^2(\phi)} </tex>
-Подставляя вычисленные компоненты в тождество, получаем:
-:<tex> -\frac{b''(\theta)}{a(\phi)} + \frac{\mathrm{D}[Y]}{a^2(\phi)} = 0 \implies \mathrm{D}[Y] = b''(\theta) a(\phi) </tex>
-Определив функцию дисперсии как вторую производную кумулянтной функции <tex> V(\mu) = b''(\theta) </tex>, мы получаем финальное выражение для дисперсии:
-:<tex> \mathrm{D}[Y] = V(\mu) a(\phi) </tex>
 === Систематическая компонента ===
-Систематическая компонента определяет, как входные признаки <tex> x = (x_1, \dots, x_p)^T </tex> влияют на модель. Это влияние выражается через скалярный линейный предиктор <tex> \eta </tex>:
+Систематическая компонента определяет, как входные признаки <tex> x = (x_1, \dots, x_p)^T </0> влияют на модель. Это влияние выражается через скалярный линейный предиктор <tex> \eta </0>:
-:<tex> \eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = x^T \beta </tex>
-где <tex> \beta </tex> — неизвестный вектор параметров, подлежащий оценке.
+:<tex> \eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = x^T \beta </ / где <tex> \beta </0> — неизвестный вектор параметров, подлежащий оценке.
 === Функция связи ===
-Функция связи <tex> g </ g> сопоставляет математическое ожидание <tex> \mu </tex> линейному предиктору:
+Функция связи <tex> g </0> сопоставляет математическое ожидание <tex> \mu </0> линейному предиктору:
-:<tex> \eta = g(\mu) </tex>
+:<tex> \eta = g(\mu) </ / :<tex> \mu = g^{-1}(\eta) </ / Особое значение имеет '''каноническая функция связи'''. Она возникает в том случае, если линейный предиктор приравнивается непосредственно к естественному параметру: <tex> \theta = \eta </0>. Это приводит к существенному упрощению уравнений правдоподобия и гарантирует, что модель обладает [[Достаточная статистика|достаточными статистиками]] для оценки вектора параметров <tex> \beta </0>.
-:<tex> \mu = g^{-1}(\eta) </tex>
-Особое значение имеет '''каноническая функция связи'''. Она возникает в том случае, если линейный предиктор приравнивается непосредственно к естественному параметру: <tex> \theta = \eta </tex>. Это приводит к существенному упрощению уравнений правдоподобия и гарантирует, что модель обладает [[Достаточная статистика|достаточными статистиками]] для оценки вектора параметров <tex> \beta </tex>.
 Примеры классических моделей и их канонических функций связи:
-* '''Нормальное распределение''': <tex> g(\mu) = \mu </tex> (тождественная функция связи).
+* '''Нормальное распределение''': <tex> g(\mu) = \mu </0> (тождественная функция связи).
-* '''Распределение Бернулли''': <tex> g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right) </tex> (логит-функция).
+* '''Распределение Бернулли''': <tex> g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right) </0> (логит-функция).
-* '''Распределение Пуассона''': <tex> g(\mu) = \ln(\mu) </tex> (логарифмическая функция связи).
+* '''Распределение Пуассона''': <tex> g(\mu) = \ln(\mu) </0> (логарифмическая функция связи).
 == Оценка параметров: Метод максимального правдоподобия ==
-Для обучения ОЛМ применяется [[Метод максимального правдоподобия|метод максимального правдоподобия]]. Пусть дана обучающая выборка из <tex> n </ n> независимых наблюдений <tex> (x_i, y_i) </tex>. Логарифм функции правдоподобия имеет вид:
+Для обучения ОЛМ применяется [[Метод максимального правдоподобия|метод максимального правдоподобия]]. Пусть дана обучающая выборка из <tex> n </0> независимых наблюдений <tex> (x_i, y_i) </0>. Логарифм функции правдоподобия имеет вид:
-:<tex> \ell(\beta) = \sum_{i=1}^n \left( \frac{y_i \theta_i - b(\theta_i)}{a(\phi_i)} + c(y_i, \phi_i) \right) </tex>
+:<tex> \ell(\beta) = \sum_{i=1}^n \left( \frac{y_i \theta_i - b(\theta_i)}{a(\phi_i)} + c(y_i, \phi_i) \right) </ / ==== Пошаговый вывод уравнений правдоподобия ====
-==== Пошаговый вывод уравнений правдоподобия ====
+Для нахождения оценки максимума правдоподобия необходимо вычислить градиент функции <tex> \ell(\beta) </0> по параметрам <tex> \beta_j </0> и приравнять его к нулю. Применим [[Теорема о производной сложной функции|правило дифференцирования сложной функции]]:
-Для нахождения оценки максимума правдоподобия необходимо вычислить градиент функции <tex> \ell(\beta) </tex> по параметрам <tex> \beta_j </tex> и приравнять его к нулю. Применим [[Теорема о производной сложной функции|правило дифференцирования сложной функции]]:
+:<tex> \frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \theta_i} \cdot \frac{\partial \theta_i}{\partial \mu_i} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot \frac{\partial \eta_i}{\partial \beta_j} </ / Вычислим каждую частную производную по отдельности:
-:<tex> \frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \theta_i} \cdot \frac{\partial \theta_i}{\partial \mu_i} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot \frac{\partial \eta_i}{\partial \beta_j} </tex>
-Вычислим каждую частную производную по отдельности:
 # Производная логарифма правдоподобия по каноническому параметру:
-#:<tex> \frac{\partial \ell_i}{\partial \theta_i} = \frac{y_i - b'(\theta_i)}{a(\phi_i)} = \frac{y_i - \mu_i}{a(\phi_i)} </tex>
+#:<tex> \frac{\partial \ell_i}{\partial \theta_i} = \frac{y_i - b'(\theta_i)}{a(\phi_i)} = \frac{y_i - \mu_i}{a(\phi_i)} </ / # Производная канонического параметра по математическому ожиданию. Так как <tex> \mu_i = b'(\theta_i) </0>, то производная <tex> \frac{\partial \mu_i}{\partial \theta_i} = b''(\theta_i) = V(\mu_i) </0>. Соответственно, по теореме о производной обратной функции:
-# Производная канонического параметра по математическому ожиданию. Так как <tex> \mu_i = b'(\theta_i) </tex>, то производная <tex> \frac{\partial \mu_i}{\partial \theta_i} = b''(\theta_i) = V(\mu_i) </tex>. Соответственно, по теореме о производной обратной функции:
+#:<tex> \frac{\partial \theta_i}{\partial \mu_i} = \frac{1}{V(\mu_i)} </ / # Производная математического ожидания по линейному предиктору выражается через функцию связи. Так как <tex> \eta_i = g(\mu_i) </0>, по теореме о производной обратной функции получаем:
-#:<tex> \frac{\partial \theta_i}{\partial \mu_i} = \frac{1}{V(\mu_i)} </0>
+#:<tex> \frac{\partial \mu_i}{\partial \eta_i} = \frac{1}{g'(\mu_i)} </ / # Производная линейного предиктора <tex> \eta_i = \sum_{k=0}^p \beta_k x_{ik} </0> по весу <tex> \beta_j </0>:
-# Производная математического ожидания по линейному предиктору выражается через функцию связи. Так как <tex> \eta_i = g(\mu_i) </tex>, по теореме о производной обратной функции получаем:
+#:<tex> \frac{\partial \eta_i}{\partial \beta_j} = x_{ij} </ / Подставим все четыре компонента обратно в цепное правило:
-#:<tex> \frac{\partial \mu_i}{\partial \eta_i} = \frac{1}{g'(\mu_i)} </tex>
-# Производная линейного предиктора <tex> \eta_i = \sum_{k=0}^p \beta_k x_{ik} </tex> по весу <tex> \beta_j </tex>:
-#:<tex> \frac{\partial \eta_i}{\partial \beta_j} = x_{ij} </tex>
-Подставим все четыре компонента обратно в цепное правило:
+:<tex> \frac{\partial \ell_i}{\partial \beta_j} = \frac{y_i - \mu_i}{a(\phi_i)} \cdot \frac{1}{V(\mu_i)} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot x_{ij} = \frac{y_i - \mu_i}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} </ / Суммируя по всем наблюдениям, мы получаем систему уравнений правдоподобия:
-:<tex> \frac{\partial \ell_i}{\partial \beta_j} = \frac{y_i - \mu_i}{a(\phi_i)} \cdot \frac{1}{V(\mu_i)} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot x_{ij} = \frac{y_i - \mu_i}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} </tex>
+:<tex> \sum_{i=1}^n \frac{(y_i - \mu_i)}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} = 0, \quad j=0, 1, \dots, p </ / === Итерационно взвешенный метод наименьших квадратов ===
-Суммируя по всем наблюдениям, мы получаем систему уравнений правдоподобия (score equations):
+Поскольку полученная система уравнений нелинейна относительно параметров <tex> \beta </0>, для её решения применяется метод скоринга Фишера. В рамках ОЛМ метод скоринга Фишера эквивалентен '''итерационно взвешенному методу наименьших квадратов''' (ИВМНК).
-:<tex> \sum_{i=1}^n \frac{(y_i - \mu_i)}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} = 0, \quad j=0, 1, \dots, p </tex>
+В методе скоринга Фишера вместо классического [[Матрица Гессе|гессиана]] используется [[Информационная матрица Фишера]] <tex> \mathcal{I}(\beta) </0>, элементы которой представляют собой математическое ожидание вторых производных логарифма правдоподобия, взятых с обратным знаком:
-=== Итерационно взвешенный метод наименьших квадратов ===
+:<tex> \mathcal{I}_{jk} = -\mathrm{E}\left[ \frac{\partial^2 \ell}{\partial \beta_j \partial \beta_k} \right] = \mathrm{E}\left[ \left(\frac{\partial \ell}{\partial \beta_j}\right) \left(\frac{\partial \ell}{\partial \beta_k}\right) \right] </ / Используя независимость наблюдений и свойства дисперсии, распишем каждый элемент информационной матрицы:
-Поскольку полученная система уравнений нелинейна относительно параметров <tex> \beta </tex>, для её решения применяется итерационный алгоритм Ньютона — Рафсона или метод скоринга Фишера. В рамках ОЛМ метод скоринга Фишера эквивалентен '''итерационно взвешенному методу наименьших квадратов''' (ИВМНК).
+:<tex> \mathcal{I}_{jk} = \sum_{i=1}^n \mathrm{E}\left[ \frac{(Y_i - \mu_i)^2}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} \right] </ / Вынося детерминированные величины за знак математического ожидания и учитывая, что <tex> \mathrm{E}[(Y_i - \mu_i)^2] = \mathrm{D}[Y_i] = V(\mu_i) a(\phi_i) </0>, получаем:
-В методе скоринга Фишера вместо классического [[Матрица Гессе|гессиана]] используется [[Информационная матрица Фишера]] <tex> \mathcal{I}(\beta) </tex>, элементы которой представляют собой математическое ожидание вторых производных логарифма правдоподобия, взятых с обратным знаком:
+:<tex> \mathcal{I}_{jk} = \sum_{i=1}^n \frac{V(\mu_i) a(\phi_i)}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} = \sum_{i=1}^n \frac{1}{a(\phi_i) V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} </ / Введём стандартную параметризацию для масштаба индивидуального наблюдения: <tex> a(\phi_i) = \phi / w_i </0>, где <tex> w_i </0> — известные веса наблюдений, а <tex> \phi </0> — общий параметр дисперсии. Перепишем элементы информационной матрицы:
-:<tex> \mathcal{I}_{jk} = -\mathrm{E}\left[ \frac{\partial^2 \ell}{\partial \beta_j \partial \beta_k} \right] = \mathrm{E}\left[ \left(\frac{\partial \ell}{\partial \beta_j}\right) \left(\frac{\partial \ell}{\partial \beta_k}\right) \right] </tex>
+:<tex> \mathcal{I}_{jk} = \frac{1}{\phi} \sum_{i=1}^n w_i \frac{1}{V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} </ / Определим диагональную матрицу весов <tex> W </0> размера <tex> n \times n </0> с элементами:
-Используя независимость наблюдений и свойства дисперсии, распишем каждый элемент информационной матрицы:
+:<tex> W_{ii} = \frac{w_i}{V(\mu_i) \left( g'(\mu_i) \right)^2} </ / Тогда вся информационная матрица Фишера в компактном матричном виде запишется как:
-:<tex> \mathcal{I}_{jk} = \sum_{i=1}^n \mathrm{E}\left[ \frac{(Y_i - \mu_i)^2}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} \right] </tex>
+:<tex> \mathcal{I}(\beta) = \frac{1}{\phi} X^T W X </ / Аналогично запишем вектор градиента логарифма правдоподобия <tex> U(\beta) </0>:
-Вынося детерминированные величины за знак математического ожидания и учитывая, что <tex> \mathrm{E}[(Y_i - \mu_i)^2] = \mathrm{D}[Y_i] = V(\mu_i) a(\phi_i) </tex>, получаем:
+:<tex> U(\beta) = \frac{1}{\phi} X^T W D (y - \mu) </ / где <tex> D </0> — диагональная матрица, содержащая производные функции связи на диагонали: <tex> D_{ii} = g'(\mu_i) </0>.
-:<tex> \mathcal{I}_{jk} = \sum_{i=1}^n \frac{V(\mu_i) a(\phi_i)}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} = \sum_{i=1}^n \frac{1}{a(\phi_i) V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} </tex>
-Введём стандартную параметризацию для масштаба индивидуального наблюдения: <tex> a(\phi_i) = \phi / w_i </tex>, где <tex> w_i </tex> — известные веса наблюдений (априорная точность), а <tex> \phi </tex> — общий параметр дисперсии. Перепишем элементы информационной матрицы:
-:<tex> \mathcal{I}_{jk} = \frac{1}{\phi} \sum_{i=1}^n w_i \frac{1}{V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} </tex>
-Определим диагональную матрицу весов <tex> W </tex> размера <tex> n \times n </tex> с элементами:
-:<tex> W_{ii} = \frac{w_i}{V(\mu_i) \left( g'(\mu_i) \right)^2} </0>
-Тогда вся информационная матрица Фишера в компактном матричном виде запишется как:
-:<tex> \mathcal{I}(\beta) = \frac{1}{\phi} X^T W X </tex>
-Аналогично запишем вектор градиента логарифма правдоподобия (вектор счёта) <tex> U(\beta) </tex>:
-:<tex> U(\beta) = \frac{1}{\phi} X^T W D (y - \mu) </tex>
-где <tex> D </tex> — диагональная матрица, содержащая производные функции связи на диагонали: <tex> D_{ii} = g'(\mu_i) </tex>.
 Шаг обновления параметров в методе Фишера задаётся уравнением:
-:<tex> \beta^{(t+1)} = \beta^{(t)} + \left( \mathcal{I}(\beta^{(t)}) \right)^{-1} U(\beta^{(t)}) </tex>
+:<tex> \beta^{(t+1)} = \beta^{(t)} + \left( \mathcal{I}(\beta^{(t)}) \right)^{-1} U(\beta^{(t)}) </ / Подставляя матричные представления, мы видим, что общий дисперсионный параметр <tex> \phi </0> сокращается:
-Подставляя матричные представления, мы видим, что общий дисперсионный параметр <tex> \phi </0> сокращается:
+:<tex> \beta^{(t+1)} = \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </ / Раскроем слагаемые, представив <tex> \beta^{(t)} </0> через единичную матрицу <tex> (X^T W^{(t)} X)^{-1} (X^T W^{(t)} X) </0>:
-:<tex> \beta^{(t+1)} = \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </0>
+:<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} X \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </ / :<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} \left( X \beta^{(t)} + D^{(t)} (y - \mu^{(t)}) \right) </ / Введем вектор псевдооткликов <tex> z^{(t)} </0> с элементами:
-Раскроем слагаемые, представив <tex> \beta^{(t)} </0> как результат умножения единичной матрицы <tex> (X^T W^{(t)} X)^{-1} (X^T W^{(t)} X) </0> на <tex> \beta^{(t)} </0>:
+:<tex> z_i^{(t)} = \eta_i^{(t)} + (y_i - \mu_i^{(t)}) g'(\mu_i^{(t)}) </ / Финальная рекуррентная формула полностью совпадает с классическим решением средневзвешенного метода наименьших квадратов на каждой итерации:
-:<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} X \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </0>
+:<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)} </ / == Диагностика качества модели ==
-:<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} \left( X \beta^{(t)} + D^{(t)} (y - \mu^{(t)}) \right) </0>
-Введем вектор псевдооткликов <tex> z^{(t)} </0> с элементами:
-:<tex> z_i^{(t)} = \eta_i^{(t)} + (y_i - \mu_i^{(t)}) g'(\mu_i^{(t)}) </0>
-Финальная рекуррентная формула полностью совпадает с классическим решением средневзвешенного метода наименьших квадратов на каждой итерации:
-:<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)} </0>
-== Диагностика качества модели ==
 Поскольку в ОЛМ распределение остатков в общем случае не является нормальным, классический [[Коэффициент детерминации|коэффициент детерминации]] <tex> R^2 </0> и обычные остатки не подходят для оценки качества подогнанной модели.
@@ Строка 181: / Строка 124: @@
 Адекватность модели оценивается с помощью девианса, который обобщает концепцию суммы квадратов остатков. Масштабированный девианс определяется через логарифм отношения правдоподобий исследуемой модели и «насыщенной» модели (модели, в которой число параметров равно числу наблюдений, то есть <tex> \hat{\mu}_i = y_i </0>):
-:<tex> D^* = 2 \left( \ell(\mathrm{saturated}) - \ell(\mathrm{model}) \right) </0>
+:<tex> D^* = 2 \left( \ell(\mathrm{saturated}) - \ell(\mathrm{model}) \right) </ / При достаточно большом размере выборки масштабированный девианс имеет [[Распределение хи-квадрат|распределение хи-квадрат]] с <tex> n-p </0> степенями свободы, где <tex> p </0> — количество оцениваемых параметров модели.
-При достаточно большом размере выборки масштабированный девианс имеет [[Распределение хи-квадрат|распределение хи-квадрат]] с <tex> n-p </0> степенями свободы, где <tex> p </0> — количество оцениваемых параметров модели.
 === Остатки ===
 Вместо стандартных разностей <tex> y_i - \hat{\mu}_i </0> в ОЛМ применяют:
 * '''Остатки Пирсона''': стандартизируют отклонение с учетом функции дисперсии:
-:<tex> r_P = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}} </0>
+:<tex> r_P = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}} </ / * '''Остатки девианса''': компоненты, из которых складывается суммарный девианс модели. Они имеют распределение, более близкое к нормальному, и чаще используются для визуальной диагностики выбросов.
-* '''Остатки девианса''': компоненты, из которых складывается суммарный девианс модели. Они имеют распределение, более близкое к нормальному, и чаще используются для визуальной диагностики выбросов.
 == См. также ==

Обобщённые линейные модели

Материал из MachineLearning.

Версия 12:04, 14 июля 2026

Структура обобщённой линейной модели

Случайная компонента и экспоненциальное семейство

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты