Часто используемые регрессионные модели

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(дополнение)
Строка 2: Строка 2:
Ниже приведены [[Регрессионная модель|модели]], которые используются при [[регрессионный анализ|регрессионном анализе]] измеряемых данных.
Ниже приведены [[Регрессионная модель|модели]], которые используются при [[регрессионный анализ|регрессионном анализе]] измеряемых данных.
Параметры моделей обозначены латинскими и греческими буквами: <tex>\{a, b,c,\ldots,\chi,\psi, \omega\}</tex>, <tex>x, y</tex>&nbsp;— свободная и зависимая переменные.
Параметры моделей обозначены латинскими и греческими буквами: <tex>\{a, b,c,\ldots,\chi,\psi, \omega\}</tex>, <tex>x, y</tex>&nbsp;— свободная и зависимая переменные.
-
Все параметры и переменные вещественные.
+
Все параметры и переменные вещественные. При соединении параметров в вектор <tex>\mathbf{w}</tex>, для представления модели в виде
-
<!--При соединении параметров в вектор <tex>\mathbf{w}</tex>, для представления модели в виде
+
<tex>y = f(\mathbf{w},\mathbf{x}) + \varepsilon,</tex> параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки.
<tex>y = f(\mathbf{w},\mathbf{x}) + \varepsilon,</tex> параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки.
-
-->
 
В список не вошли универсальные параметрические модели, например,
В список не вошли универсальные параметрические модели, например,
-
нейронная сеть&nbsp;— [[многослойный перцептрон]], [[радиальные базисные функции]], [[полиномы Лагранжа]],
+
нейронная сеть&nbsp;— многослойный [[перцептрон]], [[радиальные базисные функции]], [[полиномы Лагранжа]],
[[полиномы Чебышёва]]. Также не вошли [[регрессионная модель|непараметрические модели]].
[[полиномы Чебышёва]]. Также не вошли [[регрессионная модель|непараметрические модели]].
Оба эти класса требуют специального описания.
Оба эти класса требуют специального описания.
Строка 20: Строка 18:
# Полиномиальная регрессия <tex>y=\sum_{i=1}^na_ix^{i-1}</tex>. В роли свободных переменных выступают степени одной и той же вещественной переменной <tex>x</tex>. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
# Полиномиальная регрессия <tex>y=\sum_{i=1}^na_ix^{i-1}</tex>. В роли свободных переменных выступают степени одной и той же вещественной переменной <tex>x</tex>. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
# Криволинейная регрессия <tex>y=\sum_{i=1}^n a_i g_i(\mathbf{x})</tex>, где <tex>g_i:\: \mathbb{R}^m \to \mathbb{R}</tex>&nbsp;— некоторые нелинейные функции от вектора свободных переменных <tex>\mathbf{x}=(x_1,\ldots,x_m)</tex>. В&nbsp;качестве функций <tex>g_i</tex> часто берут «элементарные» функции от свободных переменных: гиперболу <tex>y=k/x</tex>, тригонометрические функции <tex>\sin(x),\; \arcsin(x)</tex>, гиперболический синус <tex>\text{sh}(x)</tex>, корневые <tex>\sqrt{x}</tex> и обратно-корневые функции, и&nbsp;т.&nbsp;д. Эти функции используются в некоторых финансовых приложениях.
# Криволинейная регрессия <tex>y=\sum_{i=1}^n a_i g_i(\mathbf{x})</tex>, где <tex>g_i:\: \mathbb{R}^m \to \mathbb{R}</tex>&nbsp;— некоторые нелинейные функции от вектора свободных переменных <tex>\mathbf{x}=(x_1,\ldots,x_m)</tex>. В&nbsp;качестве функций <tex>g_i</tex> часто берут «элементарные» функции от свободных переменных: гиперболу <tex>y=k/x</tex>, тригонометрические функции <tex>\sin(x),\; \arcsin(x)</tex>, гиперболический синус <tex>\text{sh}(x)</tex>, корневые <tex>\sqrt{x}</tex> и обратно-корневые функции, и&nbsp;т.&nbsp;д. Эти функции используются в некоторых финансовых приложениях.
-
 
-
== Обобщённые линейные модели ==
 
-
# [[Обобщённая линейная модель|Обобщённые линейные модели]] (Generalized Linear Model, GLM), называемые также обобщёнными аддитивными моделями (Generalized Additive Model, GAM), можно рассматривать как дальнейшее обобщение криволинейной регрессии <tex>y=g^{-1}\left(\sum\nolimits_{i=1}^n a_i g_i(\mathbf{x})\right)</tex>, где <tex>g(y)</tex> называется функцией связи (link function). Обычно в GLM дополнительно предполагается, что зависимая переменная подчиняется [[экспонентное распределение|экспонентному распределению]].
 
-
# [[Логистическая регрессия]] — частный случай обобщённой линейной модели, если взять [[логит-функция|логит-функцию]] связи <tex>g(y)=\ln\left(\frac{p}{1-p}\right)</tex>, где <tex>p</tex>&nbsp;— зависимая переменная, имеющая смысл вероятности. Логистическая регрессия применяется для решения задач [[классификация|классификации]] и позволяет оценивать вероятности принадлежности объекта каждому из классов.
 
== Нелинейные модели ==
== Нелинейные модели ==
-
<!--'''Нелинейные регрессионные модели''' — [[регрессионная модель|модели]] вида
 
-
::<tex>y=f(\mathbf{w},\mathbf{x})+\varepsilon,</tex>
 
-
которые не могут быть представлены в виде скалярного произведения
 
-
::<tex>f(\mathbf{w},\mathbf{x})=(\mathbf{w},\mathbf{g}(\mathbf{x}))=\sum_{i=1}^n w_i g_i(\mathbf{x}),</tex>
 
-
где <tex>\mathbf{w}=[w_1,\ldots, w_n]</tex>&nbsp;— параметры регрессионной модели,
 
-
<tex>\mathbf{x}</tex>&nbsp;— [[свободная переменная]] из пространства&nbsp;<tex>\mathbb{R}^n</tex>, <tex>y</tex>&nbsp;— [[зависимая переменная]],
 
-
<tex>\varepsilon</tex>&nbsp;— случайная величина и&nbsp;<tex>\mathbf{g}=[g_1,\ldots, g_n]</tex>&nbsp;— функция из некоторого
 
-
заданного множества.
 
-
-->
 
-
 
# Экспонента, <tex>y=e^bx</tex>, с линейным коэффициентом, <tex>y=ae^bx</tex>. Распространена двухкомпонентная экспоненциальная модель, <tex>y=ae^bx+ce^dx</tex>. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
# Экспонента, <tex>y=e^bx</tex>, с линейным коэффициентом, <tex>y=ae^bx</tex>. Распространена двухкомпонентная экспоненциальная модель, <tex>y=ae^bx+ce^dx</tex>. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
# Ряд Фурье, <tex>y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr)</tex>. Используется для описания периодических сигналов.
# Ряд Фурье, <tex>y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr)</tex>. Используется для описания периодических сигналов.
Строка 43: Строка 27:
# Сумма синусов, <tex>y=\sum_{i=1}^na_i\sin(b_ix+c_i)</tex>. Здесь&nbsp;<tex>a_i</tex>&nbsp;— амплитуда, <tex>b_i</tex>&nbsp;— частота, <tex>c_i</tex>&nbsp;— фаза некоторого периодического процесса.
# Сумма синусов, <tex>y=\sum_{i=1}^na_i\sin(b_ix+c_i)</tex>. Здесь&nbsp;<tex>a_i</tex>&nbsp;— амплитуда, <tex>b_i</tex>&nbsp;— частота, <tex>c_i</tex>&nbsp;— фаза некоторого периодического процесса.
# Распределение Вейбулла, двухпараметрическое, <tex>y=abx^{b-1}\exp(-ax^b)</tex>. Параметр&nbsp;<tex>a</tex> является масштабирующим, а параметр&nbsp;<tex>b</tex> определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением&nbsp;<tex>c</tex>, <tex>y=abx^{b-1}\exp(-a(x-c)^b)</tex>.
# Распределение Вейбулла, двухпараметрическое, <tex>y=abx^{b-1}\exp(-ax^b)</tex>. Параметр&nbsp;<tex>a</tex> является масштабирующим, а параметр&nbsp;<tex>b</tex> определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением&nbsp;<tex>c</tex>, <tex>y=abx^{b-1}\exp(-a(x-c)^b)</tex>.
-
# Логарифмическая сигмоида, <tex>y=\frac{1}{1+\exp(-ax)}</tex>, используются в нейронных сетях, например в&nbsp;[[многослойном перцептроне|многослойный перцептрон]], в качестве функций активации.
+
# Логарифмическая сигмоида, <tex>y=\frac{1}{1+\exp(-ax)}</tex>, используются в нейронных сетях, например в&nbsp;[[перцептрон|многослойном перцептроне]], в качестве функций активации.
# Тангенциальная сигмоида, <tex>y=\frac{2}{1+\exp(-ax)}-1</tex>, также используются в качестве функций активации.
# Тангенциальная сигмоида, <tex>y=\frac{2}{1+\exp(-ax)}-1</tex>, также используются в качестве функций активации.
Строка 50: Строка 34:
* [[Регрессионная модель]]
* [[Регрессионная модель]]
* [[Символьная регрессия]]
* [[Символьная регрессия]]
-
* [http://en.wikipedia.org/wiki/Generalized_additive_model Generalized additive model] — Wikipedia
 
-
* [http://en.wikipedia.org/wiki/Generalized_linear_model Generalized linear model] — Wikipedia
 
== Литература ==
== Литература ==

Версия 14:18, 7 сентября 2008

Содержание

Ниже приведены модели, которые используются при регрессионном анализе измеряемых данных. Параметры моделей обозначены латинскими и греческими буквами: \{a, b,c,\ldots,\chi,\psi, \omega\}, x, y — свободная и зависимая переменные. Все параметры и переменные вещественные. При соединении параметров в вектор \mathbf{w}, для представления модели в виде y = f(\mathbf{w},\mathbf{x}) + \varepsilon, параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки.

В список не вошли универсальные параметрические модели, например, нейронная сеть — многослойный перцептрон, радиальные базисные функции, полиномы Лагранжа, полиномы Чебышёва. Также не вошли непараметрические модели. Оба эти класса требуют специального описания.

Этот список не является жестко заданным. Выбираемая регрессионная модель зависит прежде всего от экспертных предположений относительно моделируемого явления.

Линейные модели

  1. Одномерная линейная регрессия y=ax+b.
  2. Многомерная линейная регрессия y=\sum_{i=1}^n a_i x_i, где \mathbf{x}=(x_1,\ldots,x_n) — вектор свободных переменных.
  3. Полиномиальная регрессия y=\sum_{i=1}^na_ix^{i-1}. В роли свободных переменных выступают степени одной и той же вещественной переменной x. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
  4. Криволинейная регрессия y=\sum_{i=1}^n a_i g_i(\mathbf{x}), где g_i:\: \mathbb{R}^m \to \mathbb{R} — некоторые нелинейные функции от вектора свободных переменных \mathbf{x}=(x_1,\ldots,x_m). В качестве функций g_i часто берут «элементарные» функции от свободных переменных: гиперболу y=k/x, тригонометрические функции \sin(x),\; \arcsin(x), гиперболический синус \text{sh}(x), корневые \sqrt{x} и обратно-корневые функции, и т. д. Эти функции используются в некоторых финансовых приложениях.

Нелинейные модели

  1. Экспонента, y=e^bx, с линейным коэффициентом, y=ae^bx. Распространена двухкомпонентная экспоненциальная модель, y=ae^bx+ce^dx. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
  2. Ряд Фурье, y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr). Используется для описания периодических сигналов.
  3. Сумма гауссианов, y=\sum_{i=1}^na_i\exp\left(-\frac{(x-b_i)^2}{c_i}\right). Используется для аппроксимации пиков. Коэффициент a_i является амплитудой, b_i — смещение, коэффициент c_i отражает ширину пика. Всего в сумме может быть до n пиков.
  4. Моном, y=x^b, с линейным коэффициентом, y=ax^b. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень.
  5. Рациональный полином, y=\frac{\sum_{i=0}^na_ix^i}{x^m+\sum_{i=0}^{m-1}b_ix^i}. Принято считать коэффициент перед x^m единицей. Например, если m=n, такое соглашение позволит получить уникальные числитель и знаменатель.
  6. Сумма синусов, y=\sum_{i=1}^na_i\sin(b_ix+c_i). Здесь a_i — амплитуда, b_i — частота, c_i — фаза некоторого периодического процесса.
  7. Распределение Вейбулла, двухпараметрическое, y=abx^{b-1}\exp(-ax^b). Параметр a является масштабирующим, а параметр b определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением c, y=abx^{b-1}\exp(-a(x-c)^b).
  8. Логарифмическая сигмоида, y=\frac{1}{1+\exp(-ax)}, используются в нейронных сетях, например в многослойном перцептроне, в качестве функций активации.
  9. Тангенциальная сигмоида, y=\frac{2}{1+\exp(-ax)}-1, также используются в качестве функций активации.

Смотри также

Литература

  1. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
  2. Гордин В. А. Как это посчитать? Обработка метеорологической информации на компьютере. Идеи, методы, задачи. МЦНМО, 2006.
  3. Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p.  (подробнее)
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A7%D0%B0%D1%81%D1%82%D0%BE_%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D0%B5%D0%BC%D1%8B%D0%B5_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8»
Личные инструменты