Часто используемые регрессионные модели
Материал из MachineLearning.
(Различия между версиями)
(Новая: Ниже приведены модели, которые используются при [[регрессионный анализ|регре...) |
(дополнение) |
||
| Строка 1: | Строка 1: | ||
| + | {{TOCright}} | ||
Ниже приведены [[Регрессионная модель|модели]], которые используются при [[регрессионный анализ|регрессионном анализе]] измеряемых данных. | Ниже приведены [[Регрессионная модель|модели]], которые используются при [[регрессионный анализ|регрессионном анализе]] измеряемых данных. | ||
Параметры моделей обозначены латинскими и греческими буквами: <tex>\{a, b,c,\ldots,\chi,\psi, \omega\}</tex>, <tex>x, y</tex> — свободная и зависимая переменные. | Параметры моделей обозначены латинскими и греческими буквами: <tex>\{a, b,c,\ldots,\chi,\psi, \omega\}</tex>, <tex>x, y</tex> — свободная и зависимая переменные. | ||
| - | Все параметры и переменные | + | Все параметры и переменные вещественные. |
| + | <!--При соединении параметров в вектор <tex>\mathbf{w}</tex>, для представления модели в виде | ||
<tex>y = f(\mathbf{w},\mathbf{x}) + \varepsilon,</tex> параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки. | <tex>y = f(\mathbf{w},\mathbf{x}) + \varepsilon,</tex> параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки. | ||
| + | --> | ||
В список не вошли универсальные параметрические модели, например, | В список не вошли универсальные параметрические модели, например, | ||
| - | нейронная сеть — | + | нейронная сеть — [[многослойный перцептрон]], [[радиальные базисные функции]], [[полиномы Лагранжа]], |
[[полиномы Чебышёва]]. Также не вошли [[регрессионная модель|непараметрические модели]]. | [[полиномы Чебышёва]]. Также не вошли [[регрессионная модель|непараметрические модели]]. | ||
Оба эти класса требуют специального описания. | Оба эти класса требуют специального описания. | ||
| + | |||
| + | Этот список не является жестко заданным. | ||
| + | Выбираемая регрессионная модель зависит прежде всего от экспертных предположений относительно моделируемого явления. | ||
| + | |||
| + | == Линейные модели == | ||
| + | # Одномерная линейная регрессия <tex>y=ax+b</tex>. | ||
| + | # Многомерная линейная регрессия <tex>y=\sum_{i=1}^n a_i x_i</tex>, где <tex>\mathbf{x}=(x_1,\ldots,x_n)</tex> — вектор свободных переменных. | ||
| + | # Полиномиальная регрессия <tex>y=\sum_{i=1}^na_ix^{i-1}</tex>. В роли свободных переменных выступают степени одной и той же вещественной переменной <tex>x</tex>. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные. | ||
| + | # Криволинейная регрессия <tex>y=\sum_{i=1}^n a_i g_i(\mathbf{x})</tex>, где <tex>g_i:\: \mathbb{R}^m \to \mathbb{R}</tex> — некоторые нелинейные функции от вектора свободных переменных <tex>\mathbf{x}=(x_1,\ldots,x_m)</tex>. В качестве функций <tex>g_i</tex> часто берут «элементарные» функции от свободных переменных: гиперболу <tex>y=k/x</tex>, тригонометрические функции <tex>\sin(x),\; \arcsin(x)</tex>, гиперболический синус <tex>\text{sh}(x)</tex>, корневые <tex>\sqrt{x}</tex> и обратно-корневые функции, и т. д. Эти функции используются в некоторых финансовых приложениях. | ||
| + | |||
| + | == Обобщённые линейные модели == | ||
| + | # [[Обобщённая линейная модель|Обобщённые линейные модели]] (Generalized Linear Model, GLM), называемые также обобщёнными аддитивными моделями (Generalized Additive Model, GAM), можно рассматривать как дальнейшее обобщение криволинейной регрессии <tex>y=g^{-1}\left(\sum\nolimits_{i=1}^n a_i g_i(\mathbf{x})\right)</tex>, где <tex>g(y)</tex> называется функцией связи (link function). Обычно в GLM дополнительно предполагается, что зависимая переменная подчиняется [[экспонентное распределение|экспонентному распределению]]. | ||
| + | # [[Логистическая регрессия]] — частный случай обобщённой линейной модели, если взять [[логит-функция|логит-функцию]] связи <tex>g(y)=\ln\left(\frac{p}{1-p}\right)</tex>, где <tex>p</tex> — зависимая переменная, имеющая смысл вероятности. Логистическая регрессия применяется для решения задач [[классификация|классификации]] и позволяет оценивать вероятности принадлежности объекта каждому из классов. | ||
== Нелинейные модели == | == Нелинейные модели == | ||
| - | '''Нелинейные регрессионные модели''' — [[регрессионная модель|модели]] вида | + | <!--'''Нелинейные регрессионные модели''' — [[регрессионная модель|модели]] вида |
| - | + | ::<tex>y=f(\mathbf{w},\mathbf{x})+\varepsilon,</tex> | |
которые не могут быть представлены в виде скалярного произведения | которые не могут быть представлены в виде скалярного произведения | ||
| - | + | ::<tex>f(\mathbf{w},\mathbf{x})=(\mathbf{w},\mathbf{g}(\mathbf{x}))=\sum_{i=1}^n w_i g_i(\mathbf{x}),</tex> | |
| - | + | где <tex>\mathbf{w}=[w_1,\ldots, w_n]</tex> — параметры регрессионной модели, | |
| - | <tex>\mathbf{x}</tex> [[свободная переменная]] из пространства <tex>\mathbb{R}^ | + | <tex>\mathbf{x}</tex> — [[свободная переменная]] из пространства <tex>\mathbb{R}^n</tex>, <tex>y</tex> — [[зависимая переменная]], |
| - | <tex>\varepsilon</tex> — случайная величина и <tex>\mathbf{g}=[g_1,\ldots, | + | <tex>\varepsilon</tex> — случайная величина и <tex>\mathbf{g}=[g_1,\ldots, g_n]</tex> — функция из некоторого |
заданного множества. | заданного множества. | ||
| + | --> | ||
# Экспонента, <tex>y=e^bx</tex>, с линейным коэффициентом, <tex>y=ae^bx</tex>. Распространена двухкомпонентная экспоненциальная модель, <tex>y=ae^bx+ce^dx</tex>. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине. | # Экспонента, <tex>y=e^bx</tex>, с линейным коэффициентом, <tex>y=ae^bx</tex>. Распространена двухкомпонентная экспоненциальная модель, <tex>y=ae^bx+ce^dx</tex>. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине. | ||
# Ряд Фурье, <tex>y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr)</tex>. Используется для описания периодических сигналов. | # Ряд Фурье, <tex>y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr)</tex>. Используется для описания периодических сигналов. | ||
| - | # Сумма гауссианов, <tex>y=\sum_{i=1}^na_i\exp(-\frac{(x-b_i)^2}{c_i})</tex>. Используется для аппроксимации пиков. Коэффициент <tex>a_i</tex> является амплитудой, <tex>b_i</tex> — смещение, коэффициент <tex>c_i</tex> отражает ширину пика. Всего в сумме может быть до <tex>n</tex> пиков. | + | # Сумма гауссианов, <tex>y=\sum_{i=1}^na_i\exp\left(-\frac{(x-b_i)^2}{c_i}\right)</tex>. Используется для аппроксимации пиков. Коэффициент <tex>a_i</tex> является амплитудой, <tex>b_i</tex> — смещение, коэффициент <tex>c_i</tex> отражает ширину пика. Всего в сумме может быть до <tex>n</tex> пиков. |
# Моном, <tex>y=x^b</tex>, с линейным коэффициентом, <tex>y=ax^b</tex>. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень. | # Моном, <tex>y=x^b</tex>, с линейным коэффициентом, <tex>y=ax^b</tex>. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень. | ||
# Рациональный полином, <tex>y=\frac{\sum_{i=0}^na_ix^i}{x^m+\sum_{i=0}^{m-1}b_ix^i}</tex>. Принято считать коэффициент перед <tex>x^m</tex> единицей. Например, если <tex>m=n</tex>, такое соглашение позволит получить уникальные числитель и знаменатель. | # Рациональный полином, <tex>y=\frac{\sum_{i=0}^na_ix^i}{x^m+\sum_{i=0}^{m-1}b_ix^i}</tex>. Принято считать коэффициент перед <tex>x^m</tex> единицей. Например, если <tex>m=n</tex>, такое соглашение позволит получить уникальные числитель и знаменатель. | ||
# Сумма синусов, <tex>y=\sum_{i=1}^na_i\sin(b_ix+c_i)</tex>. Здесь <tex>a_i</tex> — амплитуда, <tex>b_i</tex> — частота, <tex>c_i</tex> — фаза некоторого периодического процесса. | # Сумма синусов, <tex>y=\sum_{i=1}^na_i\sin(b_ix+c_i)</tex>. Здесь <tex>a_i</tex> — амплитуда, <tex>b_i</tex> — частота, <tex>c_i</tex> — фаза некоторого периодического процесса. | ||
# Распределение Вейбулла, двухпараметрическое, <tex>y=abx^{b-1}\exp(-ax^b)</tex>. Параметр <tex>a</tex> является масштабирующим, а параметр <tex>b</tex> определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением <tex>c</tex>, <tex>y=abx^{b-1}\exp(-a(x-c)^b)</tex>. | # Распределение Вейбулла, двухпараметрическое, <tex>y=abx^{b-1}\exp(-ax^b)</tex>. Параметр <tex>a</tex> является масштабирующим, а параметр <tex>b</tex> определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением <tex>c</tex>, <tex>y=abx^{b-1}\exp(-a(x-c)^b)</tex>. | ||
| - | # Логарифмическая сигмоида, <tex>\frac{1}{1+\exp(- | + | # Логарифмическая сигмоида, <tex>y=\frac{1}{1+\exp(-ax)}</tex>, используются в нейронных сетях, например в [[многослойном перцептроне|многослойный перцептрон]], в качестве функций активации. |
| - | # Тангенциальная сигмоида, <tex>y=\frac{2}{1+\exp(- | + | # Тангенциальная сигмоида, <tex>y=\frac{2}{1+\exp(-ax)}-1</tex>, также используются в качестве функций активации. |
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
| - | + | ||
== Смотри также == | == Смотри также == | ||
| Строка 41: | Строка 50: | ||
* [[Регрессионная модель]] | * [[Регрессионная модель]] | ||
* [[Символьная регрессия]] | * [[Символьная регрессия]] | ||
| + | * [http://en.wikipedia.org/wiki/Generalized_additive_model Generalized additive model] — Wikipedia | ||
| + | * [http://en.wikipedia.org/wiki/Generalized_linear_model Generalized linear model] — Wikipedia | ||
== Литература == | == Литература == | ||
| - | + | # ''Дрейпер Н.'', ''Смит Г.'' Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007. | |
| - | + | # ''Гордин В. А.'' Как это посчитать? Обработка метеорологической информации на компьютере. Идеи, методы, задачи. МЦНМО, 2006. | |
| + | # {{Публикация:Hastie 2001 The Elements of Statistical Learning}} | ||
[[Категория:Регрессионный анализ]] | [[Категория:Регрессионный анализ]] | ||
Версия 07:47, 7 сентября 2008
|
Ниже приведены модели, которые используются при регрессионном анализе измеряемых данных.
Параметры моделей обозначены латинскими и греческими буквами: ,
— свободная и зависимая переменные.
Все параметры и переменные вещественные.
В список не вошли универсальные параметрические модели, например, нейронная сеть — многослойный перцептрон, радиальные базисные функции, полиномы Лагранжа, полиномы Чебышёва. Также не вошли непараметрические модели. Оба эти класса требуют специального описания.
Этот список не является жестко заданным. Выбираемая регрессионная модель зависит прежде всего от экспертных предположений относительно моделируемого явления.
Линейные модели
- Одномерная линейная регрессия
.
- Многомерная линейная регрессия
, где
— вектор свободных переменных.
- Полиномиальная регрессия
. В роли свободных переменных выступают степени одной и той же вещественной переменной
. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
- Криволинейная регрессия
, где
— некоторые нелинейные функции от вектора свободных переменных
. В качестве функций
часто берут «элементарные» функции от свободных переменных: гиперболу
, тригонометрические функции
, гиперболический синус
, корневые
и обратно-корневые функции, и т. д. Эти функции используются в некоторых финансовых приложениях.
Обобщённые линейные модели
- Обобщённые линейные модели (Generalized Linear Model, GLM), называемые также обобщёнными аддитивными моделями (Generalized Additive Model, GAM), можно рассматривать как дальнейшее обобщение криволинейной регрессии
, где
называется функцией связи (link function). Обычно в GLM дополнительно предполагается, что зависимая переменная подчиняется экспонентному распределению.
- Логистическая регрессия — частный случай обобщённой линейной модели, если взять логит-функцию связи
, где
— зависимая переменная, имеющая смысл вероятности. Логистическая регрессия применяется для решения задач классификации и позволяет оценивать вероятности принадлежности объекта каждому из классов.
Нелинейные модели
- Экспонента,
, с линейным коэффициентом,
. Распространена двухкомпонентная экспоненциальная модель,
. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
- Ряд Фурье,
. Используется для описания периодических сигналов.
- Сумма гауссианов,
. Используется для аппроксимации пиков. Коэффициент
является амплитудой,
— смещение, коэффициент
отражает ширину пика. Всего в сумме может быть до
пиков.
- Моном,
, с линейным коэффициентом,
. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень.
- Рациональный полином,
. Принято считать коэффициент перед
единицей. Например, если
, такое соглашение позволит получить уникальные числитель и знаменатель.
- Сумма синусов,
. Здесь
- Распределение Вейбулла, двухпараметрическое,
. Параметр
является масштабирующим, а параметр
определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением
,
.
- Логарифмическая сигмоида,
, используются в нейронных сетях, например в многослойный перцептрон, в качестве функций активации.
- Тангенциальная сигмоида,
, также используются в качестве функций активации.
Смотри также
- Регрессионный анализ
- Регрессионная модель
- Символьная регрессия
- Generalized additive model — Wikipedia
- Generalized linear model — Wikipedia
Литература
- Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
- Гордин В. А. Как это посчитать? Обработка метеорологической информации на компьютере. Идеи, методы, задачи. МЦНМО, 2006.
- Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p. (подробнее)
