Часто используемые регрессионные модели

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Ниже приведены модели, которые используются при регрессионном анализе измеряемых данных. Параметры моделей обозначены латинскими и греческими буквами: \{a, b,c,\ldots,\chi,\psi, \omega\}, x, y — свободная и зависимая переменные. Все параметры и переменные вещественные. При соединении параметров в вектор \mathbf{w}, для представления модели в виде y = f(\mathbf{w},\mathbf{x}) + \varepsilon, параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки.

В список не вошли универсальные параметрические модели, например, нейронная сеть — многослойный перцептрон, радиальные базисные функции, полиномы Лагранжа, полиномы Чебышёва. Также не вошли непараметрические модели. Оба эти класса требуют специального описания.

Этот список не является жестко заданным. Выбираемая регрессионная модель зависит прежде всего от экспертных предположений относительно моделируемого явления.

Линейные модели

  1. Одномерная линейная регрессия y=ax+b.
  2. Многомерная линейная регрессия y=\sum_{i=1}^n a_i x_i, где \mathbf{x}=(x_1,\ldots,x_n) — вектор свободных переменных.
  3. Полиномиальная регрессия y=\sum_{i=1}^na_ix^{i-1}. В роли свободных переменных выступают степени одной и той же вещественной переменной x. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
  4. Криволинейная регрессия y=\sum_{i=1}^n a_i g_i(\mathbf{x}), где g_i:\: \mathbb{R}^m \to \mathbb{R} — некоторые нелинейные функции от вектора свободных переменных \mathbf{x}=(x_1,\ldots,x_m). В качестве функций g_i часто берут «элементарные» функции от свободных переменных: гиперболу y=k/x, тригонометрические функции \sin(x),\; \arcsin(x), гиперболический синус \text{sh}(x), корневые \sqrt{x} и обратно-корневые функции, и т. д. Эти функции используются в некоторых финансовых приложениях.

Нелинейные модели

  1. Экспонента, y=e^bx, с линейным коэффициентом, y=ae^bx. Распространена двухкомпонентная экспоненциальная модель, y=ae^bx+ce^dx. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
  2. Ряд Фурье, y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr). Используется для описания периодических сигналов.
  3. Сумма гауссианов, y=\sum_{i=1}^na_i\exp\left(-\frac{(x-b_i)^2}{c_i}\right). Используется для аппроксимации пиков. Коэффициент a_i является амплитудой, b_i — смещение, коэффициент c_i отражает ширину пика. Всего в сумме может быть до n пиков.
  4. Моном, y=x^b, с линейным коэффициентом, y=ax^b. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень.
  5. Рациональный полином, y=\frac{\sum_{i=0}^na_ix^i}{x^m+\sum_{i=0}^{m-1}b_ix^i}. Принято считать коэффициент перед x^m единицей. Например, если m=n, такое соглашение позволит получить уникальные числитель и знаменатель.
  6. Сумма синусов, y=\sum_{i=1}^na_i\sin(b_ix+c_i). Здесь a_i — амплитуда, b_i — частота, c_i — фаза некоторого периодического процесса.
  7. Распределение Вейбулла, двухпараметрическое, y=abx^{b-1}\exp(-ax^b). Параметр a является масштабирующим, а параметр b определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением c, y=abx^{b-1}\exp(-a(x-c)^b).
  8. Логарифмическая сигмоида, y=\frac{1}{1+\exp(-ax)}, используются в нейронных сетях, например в  многослойном перцептроне, в качестве функций активации.
  9. Тангенциальная сигмоида, y=\frac{2}{1+\exp(-ax)}-1, также используются в качестве функций активации.

Монотонные модели

Форма отклика Функция Параметры x^\prime y^\prime
Очень быстрый рост y=\exp(a+bx) b>0 x \ln y
Быстрый рост y=\exp(a+b\ln x) b>1 \ln x \ln y
Медленный рост y=\exp(a+b\ln x) 0 <b<1 \ln x \ln y
Очень медленный рост y=a+b \ln x b>0 \ln x y
Медленная стабилизация y=a+b/x b\neq 0 1/x y
Быстрая стабилизация y=a+b \exp (-x) b\neq 0 \exp (-x) y
Сигмоида y=1/\bigl(a+b\exp (-x)\bigr) b>0 \exp (-x) 1 / y

М.Б. Лагутин Наглядная статистика, с. 379, глава Парадоксы регрессии.

Смотри также

Литература

  1. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
  2. Гордин В. А. Как это посчитать? Обработка метеорологической информации на компьютере. Идеи, методы, задачи. МЦНМО, 2006.
  3. Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p.  (подробнее)
  4. Стрижов В.В., Крымова Е.А. Методы выбора регрессионных моделей. М.: ВЦ РАН, 2010. 60 с. Брошюра, PDF.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A7%D0%B0%D1%81%D1%82%D0%BE_%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D0%B5%D0%BC%D1%8B%D0%B5_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8»
Личные инструменты