Часто используемые регрессионные модели

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: Ниже приведены модели, которые используются при [[регрессионный анализ|регре...)
(→Монотонные модели)
 
(7 промежуточных версий не показаны.)
Строка 1: Строка 1:
 +
{{TOCright}}
Ниже приведены [[Регрессионная модель|модели]], которые используются при [[регрессионный анализ|регрессионном анализе]] измеряемых данных.
Ниже приведены [[Регрессионная модель|модели]], которые используются при [[регрессионный анализ|регрессионном анализе]] измеряемых данных.
Параметры моделей обозначены латинскими и греческими буквами: <tex>\{a, b,c,\ldots,\chi,\psi, \omega\}</tex>, <tex>x, y</tex>&nbsp;— свободная и зависимая переменные.
Параметры моделей обозначены латинскими и греческими буквами: <tex>\{a, b,c,\ldots,\chi,\psi, \omega\}</tex>, <tex>x, y</tex>&nbsp;— свободная и зависимая переменные.
-
Все параметры и переменные принадлежат действительным числам. При соединении параметров в вектор <tex>\mathbf{w}</tex>, для представления модели в виде
+
Все параметры и переменные вещественные. При соединении параметров в вектор <tex>\mathbf{w}</tex>, для представления модели в виде
<tex>y = f(\mathbf{w},\mathbf{x}) + \varepsilon,</tex> параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки.
<tex>y = f(\mathbf{w},\mathbf{x}) + \varepsilon,</tex> параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки.
В список не вошли универсальные параметрические модели, например,
В список не вошли универсальные параметрические модели, например,
-
нейронная сеть&nbsp;— многослойный [[перcептрон]], [[функции радиального базиса]], [[полиномы Лагранжа]],
+
нейронная сеть&nbsp;— многослойный [[перцептрон]], [[радиальные базисные функции]], [[полиномы Лагранжа]],
[[полиномы Чебышёва]]. Также не вошли [[регрессионная модель|непараметрические модели]].
[[полиномы Чебышёва]]. Также не вошли [[регрессионная модель|непараметрические модели]].
Оба эти класса требуют специального описания.
Оба эти класса требуют специального описания.
 +
 +
Этот список не является жестко заданным.
 +
Выбираемая регрессионная модель зависит прежде всего от экспертных предположений относительно моделируемого явления.
 +
 +
== Линейные модели ==
 +
# Одномерная линейная регрессия <tex>y=ax+b</tex>.
 +
# Многомерная линейная регрессия <tex>y=\sum_{i=1}^n a_i x_i</tex>, где <tex>\mathbf{x}=(x_1,\ldots,x_n)</tex>&nbsp;— вектор свободных переменных.
 +
# Полиномиальная регрессия <tex>y=\sum_{i=1}^na_ix^{i-1}</tex>. В роли свободных переменных выступают степени одной и той же вещественной переменной <tex>x</tex>. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
 +
# Криволинейная регрессия <tex>y=\sum_{i=1}^n a_i g_i(\mathbf{x})</tex>, где <tex>g_i:\: \mathbb{R}^m \to \mathbb{R}</tex>&nbsp;— некоторые нелинейные функции от вектора свободных переменных <tex>\mathbf{x}=(x_1,\ldots,x_m)</tex>. В&nbsp;качестве функций <tex>g_i</tex> часто берут «элементарные» функции от свободных переменных: гиперболу <tex>y=k/x</tex>, тригонометрические функции <tex>\sin(x),\; \arcsin(x)</tex>, гиперболический синус <tex>\text{sh}(x)</tex>, корневые <tex>\sqrt{x}</tex> и обратно-корневые функции, и&nbsp;т.&nbsp;д. Эти функции используются в некоторых финансовых приложениях.
== Нелинейные модели ==
== Нелинейные модели ==
-
'''Нелинейные регрессионные модели''' — [[регрессионная модель|модели]] вида
 
-
<center><tex>y=f(\mathbf{w},\mathbf{x})+\varepsilon,</tex></center>
 
-
которые не могут быть представлены в виде скалярного произведения
 
-
<center><tex>f(\mathbf{w},\mathbf{x})=(\mathbf{w},\mathbf{g}(\mathbf{x}))=\sum_{i=1}^W w_ig_i(\mathbf{x}).</tex></center>
 
-
Здесь <tex>\mathbf{w}=[w_1,\ldots, w_W]</tex>&nbsp;— параметры регрессионной модели,
 
-
<tex>\mathbf{x}</tex>&nbsp;[[свободная переменная]] из пространства&nbsp;<tex>\mathbb{R}^N</tex>, <tex>y</tex>&nbsp;— [[зависимая переменная]],
 
-
<tex>\varepsilon</tex>&nbsp;— случайная величина и&nbsp;<tex>\mathbf{g}=[g_1,\ldots, g_W]</tex>&nbsp;— функция из некоторого
 
-
заданного множества.
 
-
 
# Экспонента, <tex>y=e^bx</tex>, с линейным коэффициентом, <tex>y=ae^bx</tex>. Распространена двухкомпонентная экспоненциальная модель, <tex>y=ae^bx+ce^dx</tex>. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
# Экспонента, <tex>y=e^bx</tex>, с линейным коэффициентом, <tex>y=ae^bx</tex>. Распространена двухкомпонентная экспоненциальная модель, <tex>y=ae^bx+ce^dx</tex>. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
# Ряд Фурье, <tex>y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr)</tex>. Используется для описания периодических сигналов.
# Ряд Фурье, <tex>y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr)</tex>. Используется для описания периодических сигналов.
-
# Сумма гауссианов, <tex>y=\sum_{i=1}^na_i\exp(-\frac{(x-b_i)^2}{c_i})</tex>. Используется для аппроксимации пиков. Коэффициент&nbsp;<tex>a_i</tex> является амплитудой, <tex>b_i</tex>&nbsp;— смещение, коэффициент <tex>c_i</tex> отражает ширину пика. Всего в сумме может быть до&nbsp;<tex>n</tex> пиков.
+
# Сумма гауссианов, <tex>y=\sum_{i=1}^na_i\exp\left(-\frac{(x-b_i)^2}{c_i}\right)</tex>. Используется для аппроксимации пиков. Коэффициент&nbsp;<tex>a_i</tex> является амплитудой, <tex>b_i</tex>&nbsp;— смещение, коэффициент <tex>c_i</tex> отражает ширину пика. Всего в сумме может быть до&nbsp;<tex>n</tex> пиков.
# Моном, <tex>y=x^b</tex>, с линейным коэффициентом, <tex>y=ax^b</tex>. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень.
# Моном, <tex>y=x^b</tex>, с линейным коэффициентом, <tex>y=ax^b</tex>. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень.
# Рациональный полином, <tex>y=\frac{\sum_{i=0}^na_ix^i}{x^m+\sum_{i=0}^{m-1}b_ix^i}</tex>. Принято считать коэффициент перед&nbsp;<tex>x^m</tex> единицей. Например, если <tex>m=n</tex>, такое соглашение позволит получить уникальные числитель и знаменатель.
# Рациональный полином, <tex>y=\frac{\sum_{i=0}^na_ix^i}{x^m+\sum_{i=0}^{m-1}b_ix^i}</tex>. Принято считать коэффициент перед&nbsp;<tex>x^m</tex> единицей. Например, если <tex>m=n</tex>, такое соглашение позволит получить уникальные числитель и знаменатель.
# Сумма синусов, <tex>y=\sum_{i=1}^na_i\sin(b_ix+c_i)</tex>. Здесь&nbsp;<tex>a_i</tex>&nbsp;— амплитуда, <tex>b_i</tex>&nbsp;— частота, <tex>c_i</tex>&nbsp;— фаза некоторого периодического процесса.
# Сумма синусов, <tex>y=\sum_{i=1}^na_i\sin(b_ix+c_i)</tex>. Здесь&nbsp;<tex>a_i</tex>&nbsp;— амплитуда, <tex>b_i</tex>&nbsp;— частота, <tex>c_i</tex>&nbsp;— фаза некоторого периодического процесса.
# Распределение Вейбулла, двухпараметрическое, <tex>y=abx^{b-1}\exp(-ax^b)</tex>. Параметр&nbsp;<tex>a</tex> является масштабирующим, а параметр&nbsp;<tex>b</tex> определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением&nbsp;<tex>c</tex>, <tex>y=abx^{b-1}\exp(-a(x-c)^b)</tex>.
# Распределение Вейбулла, двухпараметрическое, <tex>y=abx^{b-1}\exp(-ax^b)</tex>. Параметр&nbsp;<tex>a</tex> является масштабирующим, а параметр&nbsp;<tex>b</tex> определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением&nbsp;<tex>c</tex>, <tex>y=abx^{b-1}\exp(-a(x-c)^b)</tex>.
-
# Логарифмическая сигмоида, <tex>\frac{1}{1+\exp(-n)}</tex>, используются в нейронных сетях, например в&nbsp;MLP, в качестве функций активации.
+
# Логарифмическая сигмоида, <tex>y=\frac{1}{1+\exp(-ax)}</tex>, используются в нейронных сетях, например в&nbsp; многослойном [[перцептрон|перцептроне]], в качестве функций активации.
-
# Тангенциальная сигмоида, <tex>y=\frac{2}{1+\exp(-2n)}-1</tex>, также используются в качестве функций активации.
+
# Тангенциальная сигмоида, <tex>y=\frac{2}{1+\exp(-ax)}-1</tex>, также используются в качестве функций активации.
-
== Линейные модели ==
+
== Монотонные модели ==
 +
{|class="wikitable"
 +
|-
 +
!Форма отклика
 +
! Функция
 +
! Параметры
 +
! <tex>x^\prime</tex>
 +
! <tex>y^\prime</tex>
 +
|-
 +
| Очень быстрый рост
 +
| <tex>y=\exp(a+bx)</tex>
 +
| <tex>b>0</tex>
 +
| <tex>x</tex>
 +
| <tex>\ln y</tex>
 +
|-
 +
|Быстрый рост
 +
| <tex>y=\exp(a+b\ln x)</tex>
 +
| <tex>b>1</tex>
 +
| <tex>\ln x</tex>
 +
| <tex>\ln y</tex>
 +
|-
 +
|Медленный рост
 +
| <tex>y=\exp(a+b\ln x)</tex>
 +
| <tex>0 <b<1</tex>
 +
| <tex>\ln x</tex>
 +
| <tex>\ln y</tex>
 +
|-
 +
|Очень медленный рост
 +
| <tex>y=a+b \ln x</tex>
 +
| <tex>b>0</tex>
 +
| <tex>\ln x</tex>
 +
| <tex> y</tex>
 +
|-
 +
|Медленная стабилизация
 +
| <tex>y=a+b/x</tex>
 +
| <tex>b\neq 0</tex>
 +
| <tex>1/x </tex>
 +
| <tex>y</tex>
 +
|-
 +
|Быстрая стабилизация
 +
| <tex>y=a+b \exp (-x)</tex>
 +
| <tex>b\neq 0</tex>
 +
| <tex>\exp (-x)</tex>
 +
| <tex>y</tex>
 +
|-
 +
|Сигмоида
 +
| <tex>y=1/\bigl(a+b\exp (-x)\bigr)</tex>
 +
| <tex>b>0</tex>
 +
| <tex>\exp (-x)</tex>
 +
| <tex>1 / y</tex>
 +
|}
-
# Полином, <tex>y=\sum_{i=1}^na_ix^{i-1}</tex> и его частный случай прямая <tex>y=ax+b</tex>. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
+
М.Б. Лагутин Наглядная статистика, с. 379, глава Парадоксы регрессии.
-
# Гипербола, <tex>y=k/x</tex>, а также прочие нелинейные функции с линейно-входящими параметрами: тригонометрические функции <tex>\sin(x), \arcsin(x)</tex>, гиперболический синус <tex>\text{sh}(x)</tex>, корневые <tex>\sqrt{x}</tex> и обратно-корневые функции. Эти функции используются в финансовом анализе и других приложениях.
+
-
 
+
-
Этот список не является жестко заданным. Выбираемая регрессионная модель зависит прежде всего от
+
-
экспертных предположений относительно моделируемого явления.
+
== Смотри также ==
== Смотри также ==
Строка 43: Строка 90:
== Литература ==
== Литература ==
-
* Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
+
# ''Дрейпер&nbsp;Н.'', ''Смит&nbsp;Г.'' Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
-
* Гордин&nbsp;В. А. Как это посчитать? Обработка метеорологической информации на компьютере. Идеи, методы, задачи. МЦНМО, 2006.
+
# ''Гордин&nbsp;В.&nbsp;А.'' Как это посчитать? Обработка метеорологической информации на компьютере. Идеи, методы, задачи. МЦНМО, 2006.
-
 
+
# {{Публикация:Hastie 2001 The Elements of Statistical Learning}}
 +
# Стрижов В.В., Крымова Е.А. Методы выбора регрессионных моделей. М.: ВЦ РАН, 2010. 60&nbsp;с. [[Media:Strijov-Krymova10Model-Selection.pdf|Брошюра, PDF]].
[[Категория:Регрессионный анализ]]
[[Категория:Регрессионный анализ]]

Текущая версия

Содержание

Ниже приведены модели, которые используются при регрессионном анализе измеряемых данных. Параметры моделей обозначены латинскими и греческими буквами: \{a, b,c,\ldots,\chi,\psi, \omega\}, x, y — свободная и зависимая переменные. Все параметры и переменные вещественные. При соединении параметров в вектор \mathbf{w}, для представления модели в виде y = f(\mathbf{w},\mathbf{x}) + \varepsilon, параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки.

В список не вошли универсальные параметрические модели, например, нейронная сеть — многослойный перцептрон, радиальные базисные функции, полиномы Лагранжа, полиномы Чебышёва. Также не вошли непараметрические модели. Оба эти класса требуют специального описания.

Этот список не является жестко заданным. Выбираемая регрессионная модель зависит прежде всего от экспертных предположений относительно моделируемого явления.

Линейные модели

  1. Одномерная линейная регрессия y=ax+b.
  2. Многомерная линейная регрессия y=\sum_{i=1}^n a_i x_i, где \mathbf{x}=(x_1,\ldots,x_n) — вектор свободных переменных.
  3. Полиномиальная регрессия y=\sum_{i=1}^na_ix^{i-1}. В роли свободных переменных выступают степени одной и той же вещественной переменной x. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
  4. Криволинейная регрессия y=\sum_{i=1}^n a_i g_i(\mathbf{x}), где g_i:\: \mathbb{R}^m \to \mathbb{R} — некоторые нелинейные функции от вектора свободных переменных \mathbf{x}=(x_1,\ldots,x_m). В качестве функций g_i часто берут «элементарные» функции от свободных переменных: гиперболу y=k/x, тригонометрические функции \sin(x),\; \arcsin(x), гиперболический синус \text{sh}(x), корневые \sqrt{x} и обратно-корневые функции, и т. д. Эти функции используются в некоторых финансовых приложениях.

Нелинейные модели

  1. Экспонента, y=e^bx, с линейным коэффициентом, y=ae^bx. Распространена двухкомпонентная экспоненциальная модель, y=ae^bx+ce^dx. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
  2. Ряд Фурье, y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr). Используется для описания периодических сигналов.
  3. Сумма гауссианов, y=\sum_{i=1}^na_i\exp\left(-\frac{(x-b_i)^2}{c_i}\right). Используется для аппроксимации пиков. Коэффициент a_i является амплитудой, b_i — смещение, коэффициент c_i отражает ширину пика. Всего в сумме может быть до n пиков.
  4. Моном, y=x^b, с линейным коэффициентом, y=ax^b. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень.
  5. Рациональный полином, y=\frac{\sum_{i=0}^na_ix^i}{x^m+\sum_{i=0}^{m-1}b_ix^i}. Принято считать коэффициент перед x^m единицей. Например, если m=n, такое соглашение позволит получить уникальные числитель и знаменатель.
  6. Сумма синусов, y=\sum_{i=1}^na_i\sin(b_ix+c_i). Здесь a_i — амплитуда, b_i — частота, c_i — фаза некоторого периодического процесса.
  7. Распределение Вейбулла, двухпараметрическое, y=abx^{b-1}\exp(-ax^b). Параметр a является масштабирующим, а параметр b определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением c, y=abx^{b-1}\exp(-a(x-c)^b).
  8. Логарифмическая сигмоида, y=\frac{1}{1+\exp(-ax)}, используются в нейронных сетях, например в  многослойном перцептроне, в качестве функций активации.
  9. Тангенциальная сигмоида, y=\frac{2}{1+\exp(-ax)}-1, также используются в качестве функций активации.

Монотонные модели

Форма отклика Функция Параметры x^\prime y^\prime
Очень быстрый рост y=\exp(a+bx) b>0 x \ln y
Быстрый рост y=\exp(a+b\ln x) b>1 \ln x \ln y
Медленный рост y=\exp(a+b\ln x) 0 <b<1 \ln x \ln y
Очень медленный рост y=a+b \ln x b>0 \ln x y
Медленная стабилизация y=a+b/x b\neq 0 1/x y
Быстрая стабилизация y=a+b \exp (-x) b\neq 0 \exp (-x) y
Сигмоида y=1/\bigl(a+b\exp (-x)\bigr) b>0 \exp (-x) 1 / y

М.Б. Лагутин Наглядная статистика, с. 379, глава Парадоксы регрессии.

Смотри также

Литература

  1. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
  2. Гордин В. А. Как это посчитать? Обработка метеорологической информации на компьютере. Идеи, методы, задачи. МЦНМО, 2006.
  3. Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p.  (подробнее)
  4. Стрижов В.В., Крымова Е.А. Методы выбора регрессионных моделей. М.: ВЦ РАН, 2010. 60 с. Брошюра, PDF.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A7%D0%B0%D1%81%D1%82%D0%BE_%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D0%B5%D0%BC%D1%8B%D0%B5_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8»
Личные инструменты