Часто используемые регрессионные модели

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Ниже приведены модели, которые используются при регрессионном анализе измеряемых данных. Параметры моделей обозначены латинскими и греческими буквами: \{a, b,c,\ldots,\chi,\psi, \omega\}, x, y — свободная и зависимая переменные. Все параметры и переменные вещественные.

В список не вошли универсальные параметрические модели, например, нейронная сеть — многослойный перцептрон, радиальные базисные функции, полиномы Лагранжа, полиномы Чебышёва. Также не вошли непараметрические модели. Оба эти класса требуют специального описания.

Этот список не является жестко заданным. Выбираемая регрессионная модель зависит прежде всего от экспертных предположений относительно моделируемого явления.

Линейные модели

  1. Одномерная линейная регрессия y=ax+b.
  2. Многомерная линейная регрессия y=\sum_{i=1}^n a_i x_i, где \mathbf{x}=(x_1,\ldots,x_n) — вектор свободных переменных.
  3. Полиномиальная регрессия y=\sum_{i=1}^na_ix^{i-1}. В роли свободных переменных выступают степени одной и той же вещественной переменной x. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
  4. Криволинейная регрессия y=\sum_{i=1}^n a_i g_i(\mathbf{x}), где g_i:\: \mathbb{R}^m \to \mathbb{R} — некоторые нелинейные функции от вектора свободных переменных \mathbf{x}=(x_1,\ldots,x_m). В качестве функций g_i часто берут «элементарные» функции от свободных переменных: гиперболу y=k/x, тригонометрические функции \sin(x),\; \arcsin(x), гиперболический синус \text{sh}(x), корневые \sqrt{x} и обратно-корневые функции, и т. д. Эти функции используются в некоторых финансовых приложениях.

Обобщённые линейные модели

  1. Обобщённые линейные модели (Generalized Linear Model, GLM), называемые также обобщёнными аддитивными моделями (Generalized Additive Model, GAM), можно рассматривать как дальнейшее обобщение криволинейной регрессии y=g^{-1}\left(\sum\nolimits_{i=1}^n a_i g_i(\mathbf{x})\right), где g(y) называется функцией связи (link function). Обычно в GLM дополнительно предполагается, что зависимая переменная подчиняется экспонентному распределению.
  2. Логистическая регрессия — частный случай обобщённой линейной модели, если взять логит-функцию связи g(y)=\ln\left(\frac{p}{1-p}\right), где p — зависимая переменная, имеющая смысл вероятности. Логистическая регрессия применяется для решения задач классификации и позволяет оценивать вероятности принадлежности объекта каждому из классов.

Нелинейные модели

  1. Экспонента, y=e^bx, с линейным коэффициентом, y=ae^bx. Распространена двухкомпонентная экспоненциальная модель, y=ae^bx+ce^dx. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
  2. Ряд Фурье, y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr). Используется для описания периодических сигналов.
  3. Сумма гауссианов, y=\sum_{i=1}^na_i\exp\left(-\frac{(x-b_i)^2}{c_i}\right). Используется для аппроксимации пиков. Коэффициент a_i является амплитудой, b_i — смещение, коэффициент c_i отражает ширину пика. Всего в сумме может быть до n пиков.
  4. Моном, y=x^b, с линейным коэффициентом, y=ax^b. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень.
  5. Рациональный полином, y=\frac{\sum_{i=0}^na_ix^i}{x^m+\sum_{i=0}^{m-1}b_ix^i}. Принято считать коэффициент перед x^m единицей. Например, если m=n, такое соглашение позволит получить уникальные числитель и знаменатель.
  6. Сумма синусов, y=\sum_{i=1}^na_i\sin(b_ix+c_i). Здесь a_i — амплитуда, b_i — частота, c_i — фаза некоторого периодического процесса.
  7. Распределение Вейбулла, двухпараметрическое, y=abx^{b-1}\exp(-ax^b). Параметр a является масштабирующим, а параметр b определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением c, y=abx^{b-1}\exp(-a(x-c)^b).
  8. Логарифмическая сигмоида, y=\frac{1}{1+\exp(-ax)}, используются в нейронных сетях, например в многослойный перцептрон, в качестве функций активации.
  9. Тангенциальная сигмоида, y=\frac{2}{1+\exp(-ax)}-1, также используются в качестве функций активации.

Смотри также

Литература

  1. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
  2. Гордин В. А. Как это посчитать? Обработка метеорологической информации на компьютере. Идеи, методы, задачи. МЦНМО, 2006.
  3. Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p.  (подробнее)
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A7%D0%B0%D1%81%D1%82%D0%BE_%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D0%B5%D0%BC%D1%8B%D0%B5_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8»
Личные инструменты