|
|
| Строка 1: |
Строка 1: |
| - | {{well|Статья написана с использованием LLM '''Gemini Pro 3.1''' и проверена участником [[Участник:Nikita Zinoviсh|Nikita Zinoviсh]] 16:21, 14 июля 2026 (MSD)}}
| |
| - | '''Обобщённая линейная модель''' (ОЛМ) — это гибкое обобщение классической [[Линейная регрессия|линейной регрессии]], позволяющее моделировать зависимости для целевых переменных, распределение которых отличается от [[Нормальное распределение|нормального]]. Концепция была впервые сформулирована Джоном Нелдером и Робертом Уэддерберном в 1972 году.
| |
| | | | |
| - | В то время как классическая регрессия (включая [[Метод наименьших квадратов|метод наименьших квадратов]]) предполагает, что математическое ожидание зависимой переменной является линейной комбинацией предикторов, а ошибки распределены нормально с постоянной дисперсией ([[Гомоскедастичность|гомоскедастичность]]), ОЛМ позволяет отклику иметь распределение из [[Экспоненциальное семейство распределений|экспоненциального семейства]], а дисперсии — зависеть от математического ожидания. Это позволяет рассматривать [[Логистическая регрессия|логистическую]], пуассоновскую и гамма-регрессии как частные случаи единого математического аппарата.
| + | === Промпт 1. === |
| | | | |
| - | == Структура обобщённой линейной модели ==
| + | Нужна статья по теме Обобщённая линейная модель. Аудитория и задачи: студенты, знакомые с основами теории вероятностей и математической статистики, и линейной и логистической регрессиями, задача дать им полное математическое представление о данном подходе. Сначала напиши только структуру и скинь. |
| | | | |
| - | Любая модель класса ОЛМ строго задаётся через три составляющие:
| |
| | | | |
| - | # '''Случайная компонента''': задаёт распределение вероятностей зависимой переменной <tex>Y</tex> при заданных значениях признаков <tex>X</tex>. Предполагается, что распределение принадлежит к экспоненциальному семейству.
| + | === Промпт 2. === |
| - | # '''Систематическая компонента''': формирует скалярный линейный предиктор <tex>\eta</tex> как линейную комбинацию вектора параметров <tex>\beta</math> и вектора признаков <tex>x</tex>.
| + | |
| - | # '''Функция связи''': гладкая, монотонно возрастающая и дифференцируемая функция <tex>g(\cdot)</tex>, которая связывает [[Математическое ожидание|математическое ожидание]] зависимой переменной <tex>\mu = \mathrm{E}[Y|X]</tex> с линейным предиктором.
| + | |
| | | | |
| - | === Случайная компонента и экспоненциальное семейство ===
| + | Отлично, структура утверждена. Перейдём к написанию самой статьи. |
| | | | |
| - | Говорят, что случайная величина <tex>Y</tex> принадлежит к экспоненциальному семейству, если её плотность (или функция вероятности для дискретных распределений) может быть представлена в каноническом виде:
| + | ЗАДАЧА И СТИЛЬ: |
| | + | Напиши полный текст статьи, опираясь на согласованную структуру. Стиль — энциклопедический, академический и математически строгий. Никакой «воды», только факты, выводы формул и реальные термины. Аудитория — студенты, знающие матстат. В конце добавь разделы «См. также» и «Литература». |
| | | | |
| - | :<tex>f(y; \theta, \phi) = \exp\left( \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi) \right)</tex>
| + | ТЕХНИЧЕСКИЕ ОГРАНИЧЕНИЯ (КРИТИЧНО): |
| | + | Ты пишешь код для сайта MachineLearning.ru (движок MediaWiki, старый парсер texvc). Любое отклонение сломает рендеринг. Строго соблюдай следующие правила: |
| | | | |
| - | где:
| + | 1. БАЗОВАЯ РАЗМЕТКА: Никаких markdown-решеток (#, ##, ###) для заголовков! Заголовки пишутся строго так: == Раздел == и === Подраздел ===. Жирный шрифт: '''текст''', курсив: ''текст''. |
| - | * <tex>\theta</tex> — канонический (или естественный) параметр распределения;
| + | 2. ТЕГИ ФОРМУЛ: Вся математика строго внутри <tex> ... </tex>. Использование $, $$, \[, \( или <math> — категорически ЗАПРЕЩЕНО. |
| - | * <tex>\phi</tex> — дисперсионный параметр (параметр масштаба);
| + | 3. ВЫКЛЮЧНЫЕ ФОРМУЛЫ: Формулы на отдельной строке всегда начинай с двоеточия для отступа: |
| - | * <tex>b(\theta)</tex> — кумулянтная функция, форма которой однозначно определяет конкретное распределение из семейства;
| + | :<tex> УРАВНЕНИЕ </tex> |
| - | * <tex>a(\phi)</tex> и <tex>c(y, \phi)</tex> — известные функции.
| + | 4. СТОП-СЛОВА LATEX: |
| | + | • НЕЛЬЗЯ \bold → используй \mathbf (только для латиницы/векторов). |
| | + | • НЕЛЬЗЯ \boldsymbol → ломает рендер, пиши греческие буквы как есть (\Sigma, \mu). |
| | + | • НЕЛЬЗЯ \text{...} внутри формул → используй \mathrm{...} или \mbox{...}. |
| | + | • НЕЛЬЗЯ \middle → используй \mid или обычный |. |
| | + | 5. ВНУТРЕННИЕ ССЫЛКИ: Ключевые термины при первом упоминании оборачивай в двойные квадратные скобки: [[Название статьи]] или [[Название статьи|текст в нужном падеже]]. |
| | + | 6. ФИНАЛЬНАЯ ПРОВЕРКА: Перед выдачей ответа проверь себя: каждый ли тег <tex> корректно закрыт </tex>? Нет ли тегов <math>? Нет ли запрещенных макросов из п.4? |
| | | | |
| - | ==== Вывод математического ожидания и дисперсии ====
| + | Выдай весь готовый текст внутри одного блока кода, чтобы я мог скопировать его в один клик. |
| - | | + | |
| - | Важнейшее свойство экспоненциального семейства состоит в том, что моменты распределения могут быть аналитически выражены через производные функции <tex>b(\theta)</tex>.
| + | |
| - | | + | |
| - | Запишем логарифм функции плотности для одного наблюдения:
| + | |
| - | | + | |
| - | :<tex>\ln f(y; \theta, \phi) = \frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi)</tex>
| + | |
| - | | + | |
| - | Продифференцируем логарифм плотности по параметру <tex>\theta</tex>, чтобы получить функцию счёта:
| + | |
| - | | + | |
| - | :<tex>\frac{\partial \ln f(y; \theta, \phi)}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)}</tex>
| + | |
| - | | + | |
| - | По теореме о регулярности семейства распределений математическое ожидание функции счёта тождественно равно нулю:
| + | |
| - | | + | |
| - | :<tex>\mathrm{E}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = 0</tex>
| + | |
| - | | + | |
| - | Подставим сюда наше выражение:
| + | |
| - | | + | |
| - | :<tex>\mathrm{E}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = 0 \implies \frac{\mathrm{E}[Y] - b'(\theta)}{a(\phi)} = 0 \implies \mathrm{E}[Y] = \mu = b'(\theta)</tex>
| + | |
| - | | + | |
| - | Таким образом, математическое ожидание <tex>Y</tex> равно первой производной кумулянтной функции.
| + | |
| - | | + | |
| - | Теперь найдём вторую производную логарифма плотности по <tex>\theta</tex>:
| + | |
| - | | + | |
| - | :<tex>\frac{\partial^2 \ln f(y; \theta, \phi)}{\partial \theta^2} = -\frac{b''(\theta)}{a(\phi)}</tex>
| + | |
| - | | + | |
| - | Используем классическое теоретико-вероятностное тождество для вторых производных:
| + | |
| - | | + | |
| - | :<tex>\mathrm{E}\left[ \frac{\partial^2 \ln f(Y; \theta, \phi)}{\partial \theta^2} \right] + \mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = 0</tex>
| + | |
| - | | + | |
| - | Поскольку математическое ожидание функции счёта равно нулю, её второй момент равен её дисперсии:
| + | |
| - | | + | |
| - | :<tex>\mathrm{E}\left[ \left( \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right)^2 \right] = \mathrm{D}\left[ \frac{\partial \ln f(Y; \theta, \phi)}{\partial \theta} \right] = \mathrm{D}\left[ \frac{Y - b'(\theta)}{a(\phi)} \right] = \frac{\mathrm{D}[Y]}{a^2(\phi)}</tex>
| + | |
| - | | + | |
| - | Подставляя вычисленные компоненты в тождество, получаем:
| + | |
| - | | + | |
| - | :<tex>-\frac{b''(\theta)}{a(\phi)} + \frac{\mathrm{D}[Y]}{a^2(\phi)} = 0 \implies \mathrm{D}[Y] = b''(\theta) a(\phi)</tex>
| + | |
| - | | + | |
| - | Определив функцию дисперсии как вторую производную кумулянтной функции <tex>V(\mu) = b''(\theta)</tex>, мы получаем финальное выражение для дисперсии:
| + | |
| - | | + | |
| - | :<tex>\mathrm{D}[Y] = V(\mu) a(\phi)</tex>
| + | |
| - | | + | |
| - | === Систематическая компонента ===
| + | |
| - | | + | |
| - | Систематическая компонента определяет, как входные признаки <tex>x = (x_1, \dots, x_p)^T</tex> влияют на модель. Это влияние выражается через скалярный линейный предиктор <tex>\eta</tex>:
| + | |
| - | | + | |
| - | :<tex>\eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = x^T \beta</tex>
| + | |
| - | | + | |
| - | где <tex>\beta</tex> — неизвестный вектор параметров, подлежащий оценке.
| + | |
| - | | + | |
| - | === Функция связи ===
| + | |
| - | | + | |
| - | Функция связи <tex>g</tex> сопоставляет математическое ожидание <tex>\mu</tex> линейному предиктору:
| + | |
| - | | + | |
| - | :<tex>\eta = g(\mu)</tex>
| + | |
| - | | + | |
| - | :<tex>\mu = g^{-1}(\eta)</tex>
| + | |
| - | | + | |
| - | Особое значение имеет '''каноническая функция связи'''. Она возникает в том случае, если линейный предиктор приравнивается непосредственно к естественному параметру: <math>\theta = \eta</math>. Это приводит к существенному упрощению уравнений правдоподобия и гарантирует, что модель обладает [[Достаточная статистика|достаточными статистиками]] для оценки вектора параметров <tex>\beta</tex>.
| + | |
| - | | + | |
| - | Примеры классических моделей и их канонических функций связи:
| + | |
| - | * '''Нормальное распределение''': <tex>g(\mu) = \mu</tex> (тождественная функция связи).
| + | |
| - | * '''Распределение Бернулли''': <tex>g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right)</tex> (логит-функция).
| + | |
| - | * '''Распределение Пуассона''': <tex>g(\mu) = \ln(\mu)</tex> (логарифмическая функция связи).
| + | |
| - | | + | |
| - | == Оценка параметров: Метод максимального правдоподобия ==
| + | |
| - | | + | |
| - | Для обучения ОЛМ применяется [[Метод максимального правдоподобия|метод максимального правдоподобия]]. Пусть дана обучающая выборка из <tex>n</tex> независимых наблюдений <tex>(x_i, y_i)</tex>. Логарифм функции правдоподобия имеет вид:
| + | |
| - | | + | |
| - | :<tex>\ell(\beta) = \sum_{i=1}^n \left( \frac{y_i \theta_i - b(\theta_i)}{a(\phi_i)} + c(y_i, \phi_i) \right)</tex>
| + | |
| - | | + | |
| - | ==== Пошаговый вывод уравнений правдоподобия ====
| + | |
| - | | + | |
| - | Для нахождения оценки максимума правдоподобия необходимо вычислить градиент функции <tex>\ell(\beta)</tex> по параметрам <tex>\beta_j</tex> и приравнять его к нулю. Применим [[Теорема о производной сложной функции|правило дифференцирования сложной функции]]:
| + | |
| - | | + | |
| - | :<tex>\frac{\partial \ell}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \beta_j} = \sum_{i=1}^n \frac{\partial \ell_i}{\partial \theta_i} \cdot \frac{\partial \theta_i}{\partial \mu_i} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot \frac{\partial \eta_i}{\partial \beta_j}</tex>
| + | |
| - | | + | |
| - | Вычислим каждую частную производную по отдельности:
| + | |
| - | | + | |
| - | # Производная логарифма правдоподобия по каноническому параметру:
| + | |
| - | #:<tex>\frac{\partial \ell_i}{\partial \theta_i} = \frac{y_i - b'(\theta_i)}{a(\phi_i)} = \frac{y_i - \mu_i}{a(\phi_i)}</tex>
| + | |
| - | # Производная канонического параметра по математическому ожиданию. Так как <tex>\mu_i = b'(\theta_i)</tex>, то производная <tex>\frac{\partial \mu_i}{\partial \theta_i} = b''(\theta_i) = V(\mu_i)</tex>. Соответственно, по теореме о производной обратной функции:
| + | |
| - | #:<tex>\frac{\partial \theta_i}{\partial \mu_i} = \frac{1}{V(\mu_i)}</tex>
| + | |
| - | # Производная математического ожидания по линейному предиктору выражается через функцию связи. Так как <tex>\eta_i = g(\mu_i)</tex>, по теореме о производной обратной функции получаем:
| + | |
| - | #:<tex>\frac{\partial \mu_i}{\partial \eta_i} = \frac{1}{g'(\mu_i)}</tex>
| + | |
| - | # Производная линейного предиктора <tex>\eta_i = \sum_{k=0}^p \beta_k x_{ik}</tex> по весу <tex>\beta_j</tex>:
| + | |
| - | #:<tex>\frac{\partial \eta_i}{\partial \beta_j} = x_{ij}</tex>
| + | |
| - | | + | |
| - | Подставим все четыре компонента обратно в цепное правило:
| + | |
| - | | + | |
| - | :<tex>\frac{\partial \ell_i}{\partial \beta_j} = \frac{y_i - \mu_i}{a(\phi_i)} \cdot \frac{1}{V(\mu_i)} \cdot \frac{\partial \mu_i}{\partial \eta_i} \cdot x_{ij} = \frac{y_i - \mu_i}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij}</tex>
| + | |
| - | | + | |
| - | Суммируя по всем наблюдениям, мы получаем систему уравнений правдоподобия:
| + | |
| - | | + | |
| - | :<tex>\sum_{i=1}^n \frac{(y_i - \mu_i)}{a(\phi_i) V(\mu_i)} \frac{\partial \mu_i}{\partial \eta_i} x_{ij} = 0, \quad j=0, 1, \dots, p</tex>
| + | |
| - | | + | |
| - | === Итерационно взвешенный метод наименьших квадратов ===
| + | |
| - | | + | |
| - | Поскольку полученная система уравнений нелинейна относительно параметров <tex>\beta</tex>, для её решения применяется метод скоринга Фишера. В рамках ОЛМ метод скоринга Фишера эквивалентен '''итерационно взвешенному методу наименьших квадратов''' (ИВМНК).
| + | |
| - | | + | |
| - | В методе скоринга Фишера вместо классического [[Матрица Гессе|гессиана]] используется [[Информационная матрица Фишера]] <tex>\mathcal{I}(\beta)</tex>, элементы которой представляют собой математическое ожидание вторых производных логарифма правдоподобия, взятых с обратным знаком:
| + | |
| - | | + | |
| - | :<tex>\mathcal{I}_{jk} = -\mathrm{E}\left[ \frac{\partial^2 \ell}{\partial \beta_j \partial \beta_k} \right] = \mathrm{E}\left[ \left(\frac{\partial \ell}{\partial \beta_j}\right) \left(\frac{\partial \ell}{\partial \beta_k}\right) \right]</tex>
| + | |
| - | | + | |
| - | Используя независимость наблюдений и свойства дисперсии, распишем каждый элемент информационной матрицы:
| + | |
| - | | + | |
| - | :<tex>\mathcal{I}_{jk} = \sum_{i=1}^n \mathrm{E}\left[ \frac{(Y_i - \mu_i)^2}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} \right]</tex>
| + | |
| - | | + | |
| - | Вынося детерминированные величины за знак математического ожидания и учитывая, что <tex>\mathrm{E}[(Y_i - \mu_i)^2] = \mathrm{D}[Y_i] = V(\mu_i) a(\phi_i)</tex>, получаем:
| + | |
| - | | + | |
| - | :<tex>\mathcal{I}_{jk} = \sum_{i=1}^n \frac{V(\mu_i) a(\phi_i)}{a^2(\phi_i) V^2(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik} = \sum_{i=1}^n \frac{1}{a(\phi_i) V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik}</tex>
| + | |
| - | | + | |
| - | Введём стандартную параметризацию для масштаба индивидуального наблюдения: <tex>a(\phi_i) = \phi / w_i</tex>, где <tex>w_i</tex> — известные веса наблюдений, а <tex>\phi</tex> — общий параметр дисперсии. Перепишем элементы информационной матрицы:
| + | |
| - | | + | |
| - | :<tex>\mathcal{I}_{jk} = \frac{1}{\phi} \sum_{i=1}^n w_i \frac{1}{V(\mu_i)} \left( \frac{\partial \mu_i}{\partial \eta_i} \right)^2 x_{ij} x_{ik}</tex>
| + | |
| - | | + | |
| - | Определим диагональную матрицу весов <tex>W</tex> размера <tex>n \times n</tex> с элементами:
| + | |
| - | | + | |
| - | :<tex>W_{ii} = \frac{w_i}{V(\mu_i) \left( g'(\mu_i) \right)^2}</tex>
| + | |
| - | | + | |
| - | Тогда вся информационная матрица Фишера в компактном матричном виде запишется как:
| + | |
| - | | + | |
| - | :<tex>\mathcal{I}(\beta) = \frac{1}{\phi} X^T W X</tex>
| + | |
| - | | + | |
| - | Аналогично запишем вектор градиента логарифма правдоподобия <tex>U(\beta)</tex>:
| + | |
| - | | + | |
| - | :<tex>U(\beta) = \frac{1}{\phi} X^T W D (y - \mu)</tex>
| + | |
| - | | + | |
| - | где <tex>D</math> — диагональная матрица, содержащая производные функции связи на диагонали: <tex>D_{ii} = g'(\mu_i)</tex>.
| + | |
| - | | + | |
| - | Шаг обновления параметров в методе Фишера задаётся уравнением:
| + | |
| - | | + | |
| - | :<tex>\beta^{(t+1)} = \beta^{(t)} + \left( \mathcal{I}(\beta^{(t)}) \right)^{-1} U(\beta^{(t)})</tex>
| + | |
| - | | + | |
| - | Подставляя матричные представления, мы видим, что общий дисперсионный параметр <tex>\phi</tex> сокращается:
| + | |
| - | | + | |
| - | :<tex>\beta^{(t+1)} = \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)})</tex>
| + | |
| - | | + | |
| - | Раскроем слагаемые, представив <tex>\beta^{(t)}</tex> через единичную матрицу <tex>(X^T W^{(t)} X)^{-1} (X^T W^{(t)} X)</tex>:
| + | |
| - | | + | |
| - | :<tex>\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} X \beta^{(t)} + (X^T W^{(t)} X)^{-1} X^T W^{(t)} D^{(t)} (y - \mu^{(t)})</math>
| + | |
| - | | + | |
| - | :<tex>\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} \left( X \beta^{(t)} + D^{(t)} (y - \mu^{(t)}) \right)</tex>
| + | |
| - | | + | |
| - | Введем вектор псевдооткликов <tex>z^{(t)}</tex> с элементами:
| + | |
| - | | + | |
| - | :<tex>z_i^{(t)} = \eta_i^{(t)} + (y_i - \mu_i^{(t)}) g'(\mu_i^{(t)})</tex>
| + | |
| - | | + | |
| - | Финальная рекуррентная формула полностью совпадает с классическим решение средневзвешенного метода наименьших квадратов на каждой итерации:
| + | |
| - | | + | |
| - | :<tex>\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)}</tex>
| + | |
| - | | + | |
| - | == Диагностика качества модели ==
| + | |
| - | | + | |
| - | Поскольку в ОЛМ распределение остатков в общем случае не является нормальным, классический [[Коэффициент детерминации|коэффициент детерминации]] <tex>R^2</tex> и обычные остатки не подходят для оценки качества подогнанной модели.
| + | |
| - | | + | |
| - | === Девианс ===
| + | |
| - | Адекватность модели оценивается с помощью девианса, который обобщает концепцию суммы квадратов остатков. Масштабированный девианс определяется через логарифм отношения правдоподобий исследуемой модели и «насыщенной» модели (модели, в которой число параметров равно числу наблюдений, то есть <tex>\hat{\mu}_i = y_i</tex>):
| + | |
| - | | + | |
| - | :<tex>D^* = 2 \left( \ell(\mathrm{saturated}) - \ell(\mathrm{model}) \right)</tex>
| + | |
| - | | + | |
| - | При достаточно большом размере выборки масштабированный девианс имеет [[Распределение хи-квадрат|распределение хи-квадрат]] с <tex>n-p</tex> степенями свободы, где <tex>p</tex> — количество оцениваемых параметров модели.
| + | |
| - | | + | |
| - | === Остатки ===
| + | |
| - | Вместо стандартных разностей <tex>y_i - \hat{\mu}_i</math> в ОЛМ применяют:
| + | |
| - | * '''Остатки Пирсона''': стандартизируют отклонение с учетом функции дисперсии:
| + | |
| - | :<tex>r_P = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}}</tex>
| + | |
| - | * '''Остатки девианса''': компоненты, из которых складывается суммарный девианс модели. Они имеют распределение, более близкое к нормальному, и чаще используются для визуальной диагностики выбросов.
| + | |
| - | | + | |
| - | == См. также ==
| + | |
| - | * [[Линейная регрессия]]
| + | |
| - | * [[Логистическая регрессия]]
| + | |
| - | * [[Пуассоновская регрессия]]
| + | |
| - | * [[Экспоненциальное семейство распределений]]
| + | |
| - | * [[Метод максимального правдоподобия]]
| + | |
| - | * [[Метод наименьших квадратов]]
| + | |
| - | | + | |
| - | == Литература ==
| + | |
| - | * Воронцов К. В. ''Математические методы обучения по прецедентам (теория обучения машин)''. — М.: МФТИ, 2007.
| + | |
| - | * Айвазян С. А., Мхитарян В. С. ''Прикладная статистика и основы эконометрики''. — М.: ЮНИТИ, 1998.
| + | |
| - | * McCullagh, P., Nelder, J. A. ''Generalized Linear Models'', 2nd ed. Chapman and Hall/CRC, 1989.
| + | |
| - | * Hastie, T., Tibshirani, R., Friedman, J. ''The Elements of Statistical Learning: Data Mining, Inference, and Prediction''. Springer, 2009.
| + | |
Нужна статья по теме Обобщённая линейная модель. Аудитория и задачи: студенты, знакомые с основами теории вероятностей и математической статистики, и линейной и логистической регрессиями, задача дать им полное математическое представление о данном подходе. Сначала напиши только структуру и скинь.
Отлично, структура утверждена. Перейдём к написанию самой статьи.
ЗАДАЧА И СТИЛЬ:
Напиши полный текст статьи, опираясь на согласованную структуру. Стиль — энциклопедический, академический и математически строгий. Никакой «воды», только факты, выводы формул и реальные термины. Аудитория — студенты, знающие матстат. В конце добавь разделы «См. также» и «Литература».
ТЕХНИЧЕСКИЕ ОГРАНИЧЕНИЯ (КРИТИЧНО):
Ты пишешь код для сайта MachineLearning.ru (движок MediaWiki, старый парсер texvc). Любое отклонение сломает рендеринг. Строго соблюдай следующие правила:
1. БАЗОВАЯ РАЗМЕТКА: Никаких markdown-решеток (#, ##, ###) для заголовков! Заголовки пишутся строго так: == Раздел == и === Подраздел ===. Жирный шрифт: текст, курсив: текст.
2. ТЕГИ ФОРМУЛ: Вся математика строго внутри 
. Использование $, $$, \[, \( или <math> — категорически ЗАПРЕЩЕНО.
3. ВЫКЛЮЧНЫЕ ФОРМУЛЫ: Формулы на отдельной строке всегда начинай с двоеточия для отступа:
4. СТОП-СЛОВА LATEX:
5. ВНУТРЕННИЕ ССЫЛКИ: Ключевые термины при первом упоминании оборачивай в двойные квадратные скобки: Название статьи или текст в нужном падеже.
6. ФИНАЛЬНАЯ ПРОВЕРКА: Перед выдачей ответа проверь себя: каждый ли тег 
? Нет ли тегов <math>? Нет ли запрещенных макросов из п.4?
Выдай весь готовый текст внутри одного блока кода, чтобы я мог скопировать его в один клик.
