Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM '''Gemini Pro 3.1''' и проверена участником [[Участник:Nikita Zinoviсh|Nikita Zinoviсh]] 16:00, 14 июля 2026 (MSD)}} '''Обобщённая линейная модель''' (ОЛМ) — это гибкое обобщение классической [[Линейная регрессия|линейной регрессии]], позволяющее моделировать зависимости для целевых переменных, распределение которых отличается от [[Нормальное распределение|нормального]]. Концепция была впервые сформулирована Джоном Нелдером и Робертом Уэддерберном в 1972 году. В то время как классическая регрессия (включая [[Метод наименьших квадратов|метод наименьших квадратов]]) предполагает, что математическое ожидание зависимой переменной является линейной комбинацией предикторов, а ошибки распределены нормально с постоянной дисперсией ([[Гомоскедастичность|гомоскедастичность]]), ОЛМ позволяет отклику иметь распределение из [[Экспоненциальное семейство распределений|экспоненциального семейства]], а дисперсии — зависеть от математического ожидания. Это позволяет рассматривать [[Логистическая регрессия|логистическую]], пуассоновскую и гамма-регрессии как частные случаи единого математического аппарата. == Структура обобщённой линейной модели == Любая модель класса ОЛМ строго задаётся через три составляющие: # '''Случайная компонента''': задаёт распределение вероятностей зависимой переменной <tex> Y </tex> при заданных значениях признаков <tex> X </tex>. Предполагается, что распределение принадлежит к экспоненциальному семейству. # '''Систематическая компонента''': формирует скалярный линейный предиктор <tex> \eta </tex> как линейную комбинацию вектора параметров <tex> \beta </tex> и вектора признаков <tex> x </tex>. # '''Функция связи''': гладкая, монотонно возрастающая и дифференцируемая функция <tex> g(\cdot) </tex>, которая связывает [[Математическое ожидание|математическое ожидание]] зависимой переменной <tex> \mu = \mathrm{E}[Y|X] </tex> с линейным предиктором. === Случайная компонента и экспоненциальное семейство === Говорят, что случайная величина <tex> Y </tex> принадлежит к экспоненциальному семейству, если её плотность (или функция вероятности для дискретных распределений) может быть представлена в каноническом виде: :<tex> f(y; \theta, \phi) = \exp\left( \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) \right) </tex> где: * <tex> \theta </tex> — канонический (или естественный) параметр распределения; * <tex> \phi </tex> — дисперсионный параметр (параметр масштаба); * <tex> b(\theta) </tex> — кумулянтная функция, форма которой однозначно определяет конкретное распределение из семейства; * <tex> a(\phi) </tex> и <tex> c(y, \phi) </tex> — известные функции. ==== Вывод математического ожидания и дисперсии ==== Важнейшее свойство экспоненциального семейства состоит в том, что моменты распределения могут быть аналитически выражены через производные функции <tex> b(\theta) </tex>. Запишем логарифм функции плотности (или вероятности) для одного наблюдения: :<tex> \ln f(y; \theta, \phi) = \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) </tex> Продифференцируем логарифм плотности по параметру <tex> \theta </tex>, чтобы получить функцию счёта (score function): :<tex> \frac{\partial \ln f(y; \theta, \phi)}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)} </tex> Из теории оценивания известно, что при регулярности семейства распределений математическое ожидание функции счёта тождественно равно нулю: :<tex> \mathrm{E}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = 0 </tex> Подставим сюда наше выражение: :<tex> \mathrm{E}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = 0 \implies \frac{\mathrm{E}[Y] - b'(\theta)}{a(\phi)} = 0 \implies \mathrm{E}[Y] = \mu = b'(\theta) </tex> Таким образом, математическое ожидание <tex> Y </tex> равно первой производной кумулянтной функции. Теперь найдём вторую производную логарифма плотности по <tex> \theta </tex>: :<tex> \frac{\partial^2 \ln f(y; \theta, \phi)}{\partial \theta^2} = -\frac{b''(\theta)}{a(\phi)} </tex> Используем классическое теоретико-вероятностное тождество для вторых производных (связь между дисперсией функции счёта и математическим ожиданием её производной): :<tex> \mathrm{E}\left[ \frac{\partial^2 \ln f(Y; \theta, \phi)}{\partial \theta^2} \right] + \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = 0 </tex> Поскольку математическое ожидание функции счёта равно нулю, её второй момент равен её дисперсии: :<tex> \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = \mathrm{D}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = \mathrm{D}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = \frac{\mathrm{D}[Y]}{a^2(\phi)} </tex> Подставляя вычисленные компоненты в тождество, получаем: :<tex> -\frac{b''(\theta)}{a(\phi)} + \frac{\mathrm{D}[Y]}{a^2(\phi)} = 0 \implies \mathrm{D}[Y] = b''(\theta) a(\phi) </tex> Определив функцию дисперсии как вторую производную кумулянтной функции <tex> V(\mu) = b''(\theta) </tex>, мы получаем финальное выражение для дисперсии: :<tex> \mathrm{D}[Y] = V(\mu) a(\phi) </tex> === Систематическая компонента === Систематическая компонента определяет, как входные признаки <tex> x = (x_1, \dots, x_p)^T </tex> влияют на модель. Это влияние выражается через скалярный линейный предиктор <tex> \eta </tex>: :<tex> \eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = x^T \beta </tex> где <tex> \beta </tex> — неизвестный вектор параметров, подлежащий оценке. === Функция связи === Функция связи <tex> g </ g> сопоставляет математическое ожидание <tex> \mu </tex> линейному предиктору: :<tex> \eta = g(\mu) </tex> :<tex> \mu = g^{-1}(\eta) </tex> Особое значение имеет '''каноническая функция связи'''. Она возникает в том случае, если линейный предиктор приравнивается непосредственно к естественному параметру: <tex> \theta = \eta </tex>. Это приводит к существенному упрощению уравнений правдоподобия и гарантирует, что модель обладает [[Достаточная статистика|достаточными статистиками]] для оценки вектора параметров <tex> \beta </tex>. Примеры классических моделей и их канонических функций связи: * '''Нормальное распределение''': <tex> g(\mu) = \mu </tex> (тождественная функция связи). * '''Распределение Бернулли''': <tex> g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right) </tex> (логит-функция). * '''Распределение Пуассона''': <tex> g(\mu) = \ln(\mu) </tex> (логарифмическая функция связи). == Оценка параметров: Метод максимального правдоподобия == Для обучения ОЛМ применяется [[Метод максимального правдоподобия|метод максимального правдоподобия]]. Пусть дана обучающая выборка из <tex> n </ n> независимых наблюдений <tex> (x_i, y_i) </tex>. Логарифм функции правдоподобия имеет вид: :<tex> \ell(\beta) = \sum_{i=1}^n \left( \frac{y_i \theta_i - b(\theta_i)}{a(\phi_i)} + c(y_i, \phi_i) \right) </tex> ==== Пошаговый вывод уравнений правдоподобия ==== Для нахождения оценки максимума правдоподобия необходимо вычислить градиент функции <tex> \ell(\beta) </tex> по параметрам <tex> \beta_j </tex> и приравнять его к нулю. Применим [[Теорема о производной сложной функции|правило дифференцирования сложной функции]]: :<tex> \frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \theta_i} \cdot \frac{\partial \theta_i}{\partial \mu_i} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot \frac{\partial \eta_i}{\partial \beta_j} </tex> Вычислим каждую частную производную по отдельности: # Производная логарифма правдоподобия по каноническому параметру: #:<tex> \frac{\partial \ell_i}{\partial \theta_i} = \frac{y_i - b'(\theta_i)}{a(\phi_i)} = \frac{y_i - \mu_i}{a(\phi_i)} </tex> # Производная канонического параметра по математическому ожиданию. Так как <tex> \mu_i = b'(\theta_i) </tex>, то производная <tex> \frac{\partial \mu_i}{\partial \theta_i} = b''(\theta_i) = V(\mu_i) </tex>. Соответственно, по теореме о производной обратной функции: #:<tex> \frac{\partial \theta_i}{\partial \mu_i} = \frac{1}{V(\mu_i)} </0> # Производная математического ожидания по линейному предиктору выражается через функцию связи. Так как <tex> \eta_i = g(\mu_i) </tex>, по теореме о производной обратной функции получаем: #:<tex> \frac{\partial \mu_i}{\partial \eta_i} = \frac{1}{g'(\mu_i)} </tex> # Производная линейного предиктора <tex> \eta_i = \sum_{k=0}^p \beta_k x_{ik} </tex> по весу <tex> \beta_j </tex>: #:<tex> \frac{\partial \eta_i}{\partial \beta_j} = x_{ij} </tex> Подставим все четыре компонента обратно в цепное правило: :<tex> \frac{\partial \ell_i}{\partial \beta_j} = \frac{y_i - \mu_i}{a(\phi_i)} \cdot \frac{1}{V(\mu_i)} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot x_{ij} = \frac{y_i - \mu_i}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} </tex> Суммируя по всем наблюдениям, мы получаем систему уравнений правдоподобия (score equations): :<tex> \sum_{i=1}^n \frac{(y_i - \mu_i)}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} = 0, \quad j=0, 1, \dots, p </tex> === Итерационно взвешенный метод наименьших квадратов === Поскольку полученная система уравнений нелинейна относительно параметров <tex> \beta </tex>, для её решения применяется итерационный алгоритм Ньютона — Рафсона или метод скоринга Фишера. В рамках ОЛМ метод скоринга Фишера эквивалентен '''итерационно взвешенному методу наименьших квадратов''' (ИВМНК). В методе скоринга Фишера вместо классического [[Матрица Гессе|гессиана]] используется [[Информационная матрица Фишера]] <tex> \mathcal{I}(\beta) </tex>, элементы которой представляют собой математическое ожидание вторых производных логарифма правдоподобия, взятых с обратным знаком: :<tex> \mathcal{I}_{jk} = -\mathrm{E}\left[ \frac{\partial^2 \ell}{\partial \beta_j \partial \beta_k} \right] = \mathrm{E}\left[ \left(\frac{\partial \ell}{\partial \beta_j}\right) \left(\frac{\partial \ell}{\partial \beta_k}\right) \right] </tex> Используя независимость наблюдений и свойства дисперсии, распишем каждый элемент информационной матрицы: :<tex> \mathcal{I}_{jk} = \sum_{i=1}^n \mathrm{E}\left[ \frac{(Y_i - \mu_i)^2}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} \right] </tex> Вынося детерминированные величины за знак математического ожидания и учитывая, что <tex> \mathrm{E}[(Y_i - \mu_i)^2] = \mathrm{D}[Y_i] = V(\mu_i) a(\phi_i) </tex>, получаем: :<tex> \mathcal{I}_{jk} = \sum_{i=1}^n \frac{V(\mu_i) a(\phi_i)}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} = \sum_{i=1}^n \frac{1}{a(\phi_i) V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} </tex> Введём стандартную параметризацию для масштаба индивидуального наблюдения: <tex> a(\phi_i) = \phi / w_i </tex>, где <tex> w_i </tex> — известные веса наблюдений (априорная точность), а <tex> \phi </tex> — общий параметр дисперсии. Перепишем элементы информационной матрицы: :<tex> \mathcal{I}_{jk} = \frac{1}{\phi} \sum_{i=1}^n w_i \frac{1}{V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} </tex> Определим диагональную матрицу весов <tex> W </tex> размера <tex> n \times n </tex> с элементами: :<tex> W_{ii} = \frac{w_i}{V(\mu_i) \left( g'(\mu_i) \right)^2} </0> Тогда вся информационная матрица Фишера в компактном матричном виде запишется как: :<tex> \mathcal{I}(\beta) = \frac{1}{\phi} X^T W X </tex> Аналогично запишем вектор градиента логарифма правдоподобия (вектор счёта) <tex> U(\beta) </tex>: :<tex> U(\beta) = \frac{1}{\phi} X^T W D (y - \mu) </tex> где <tex> D </tex> — диагональная матрица, содержащая производные функции связи на диагонали: <tex> D_{ii} = g'(\mu_i) </tex>. Шаг обновления параметров в методе Фишера задаётся уравнением: :<tex> \beta^{(t+1)} = \beta^{(t)} + \left( \mathcal{I}(\beta^{(t)}) \right)^{-1} U(\beta^{(t)}) </tex> Подставляя матричные представления, мы видим, что общий дисперсионный параметр <tex> \phi </0> сокращается: :<tex> \beta^{(t+1)} = \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </0> Раскроем слагаемые, представив <tex> \beta^{(t)} </0> как результат умножения единичной матрицы <tex> (X^T W^{(t)} X)^{-1} (X^T W^{(t)} X) </0> на <tex> \beta^{(t)} </0>: :<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} X \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)}) </0> :<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} \left( X \beta^{(t)} + D^{(t)} (y - \mu^{(t)}) \right) </0> Введем вектор псевдооткликов <tex> z^{(t)} </0> с элементами: :<tex> z_i^{(t)} = \eta_i^{(t)} + (y_i - \mu_i^{(t)}) g'(\mu_i^{(t)}) </0> Финальная рекуррентная формула полностью совпадает с классическим решением средневзвешенного метода наименьших квадратов на каждой итерации: :<tex> \beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)} </0> == Диагностика качества модели == Поскольку в ОЛМ распределение остатков в общем случае не является нормальным, классический [[Коэффициент детерминации|коэффициент детерминации]] <tex> R^2 </0> и обычные остатки не подходят для оценки качества подогнанной модели. === Девианс === Адекватность модели оценивается с помощью девианса, который обобщает концепцию суммы квадратов остатков. Масштабированный девианс определяется через логарифм отношения правдоподобий исследуемой модели и «насыщенной» модели (модели, в которой число параметров равно числу наблюдений, то есть <tex> \hat{\mu}_i = y_i </0>): :<tex> D^* = 2 \left( \ell(\mathrm{saturated}) - \ell(\mathrm{model}) \right) </0> При достаточно большом размере выборки масштабированный девианс имеет [[Распределение хи-квадрат|распределение хи-квадрат]] с <tex> n-p </0> степенями свободы, где <tex> p </0> — количество оцениваемых параметров модели. === Остатки === Вместо стандартных разностей <tex> y_i - \hat{\mu}_i </0> в ОЛМ применяют: * '''Остатки Пирсона''': стандартизируют отклонение с учетом функции дисперсии: :<tex> r_P = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}} </0> * '''Остатки девианса''': компоненты, из которых складывается суммарный девианс модели. Они имеют распределение, более близкое к нормальному, и чаще используются для визуальной диагностики выбросов. == См. также == * [[Линейная регрессия]] * [[Логистическая регрессия]] * [[Пуассоновская регрессия]] * [[Экспоненциальное семейство распределений]] * [[Метод максимального правдоподобия]] * [[Метод наименьших квадратов]] == Литература == * Воронцов К. В. ''Математические методы обучения по прецедентам (теория обучения машин)''. — М.: МФТИ, 2007. * Айвазян С. А., Мхитарян В. С. ''Прикладная статистика и основы эконометрики''. — М.: ЮНИТИ, 1998. * McCullagh, P., Nelder, J. A. ''Generalized Linear Models'', 2nd ed. Chapman and Hall/CRC, 1989. * Hastie, T., Tibshirani, R., Friedman, J. ''The Elements of Statistical Learning: Data Mining, Inference, and Prediction''. Springer, 2009.

• Шаблон:Mbox
• Шаблон:Well

Возврат к странице Обобщённые линейные модели.