Часто используемые регрессионные модели

Материал из MachineLearning.

Версия от 12:27, 4 сентября 2008; Strijov (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

Ниже приведены модели, которые используются при регрессионном анализе измеряемых данных. Параметры моделей обозначены латинскими и греческими буквами: \{a, b,c,\ldots,\chi,\psi, \omega\}, x, y — свободная и зависимая переменные. Все параметры и переменные принадлежат действительным числам. При соединении параметров в вектор \mathbf{w}, для представления модели в виде y = f(\mathbf{w},\mathbf{x}) + \varepsilon, параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки.

В список не вошли универсальные параметрические модели, например, нейронная сеть — многослойный перcептрон, функции радиального базиса, полиномы Лагранжа, полиномы Чебышёва. Также не вошли непараметрические модели. Оба эти класса требуют специального описания.

Содержание

Нелинейные модели

Нелинейные регрессионные моделимодели вида

y=f(\mathbf{w},\mathbf{x})+\varepsilon,

которые не могут быть представлены в виде скалярного произведения

f(\mathbf{w},\mathbf{x})=(\mathbf{w},\mathbf{g}(\mathbf{x}))=\sum_{i=1}^W w_ig_i(\mathbf{x}).

Здесь \mathbf{w}=[w_1,\ldots, w_W] — параметры регрессионной модели, \mathbf{x} свободная переменная из пространства \mathbb{R}^N, y — зависимая переменная, \varepsilon — случайная величина и \mathbf{g}=[g_1,\ldots, g_W] — функция из некоторого заданного множества.

  1. Экспонента, y=e^bx, с линейным коэффициентом, y=ae^bx. Распространена двухкомпонентная экспоненциальная модель, y=ae^bx+ce^dx. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
  2. Ряд Фурье, y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr). Используется для описания периодических сигналов.
  3. Сумма гауссианов, y=\sum_{i=1}^na_i\exp(-\frac{(x-b_i)^2}{c_i}). Используется для аппроксимации пиков. Коэффициент a_i является амплитудой, b_i — смещение, коэффициент c_i отражает ширину пика. Всего в сумме может быть до n пиков.
  4. Моном, y=x^b, с линейным коэффициентом, y=ax^b. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень.
  5. Рациональный полином, y=\frac{\sum_{i=0}^na_ix^i}{x^m+\sum_{i=0}^{m-1}b_ix^i}. Принято считать коэффициент перед x^m единицей. Например, если m=n, такое соглашение позволит получить уникальные числитель и знаменатель.
  6. Сумма синусов, y=\sum_{i=1}^na_i\sin(b_ix+c_i). Здесь a_i — амплитуда, b_i — частота, c_i — фаза некоторого периодического процесса.
  7. Распределение Вейбулла, двухпараметрическое, y=abx^{b-1}\exp(-ax^b). Параметр a является масштабирующим, а параметр b определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением c, y=abx^{b-1}\exp(-a(x-c)^b).
  8. Логарифмическая сигмоида, \frac{1}{1+\exp(-n)}, используются в нейронных сетях, например в MLP, в качестве функций активации.
  9. Тангенциальная сигмоида, y=\frac{2}{1+\exp(-2n)}-1, также используются в качестве функций активации.

Линейные модели

  1. Полином, y=\sum_{i=1}^na_ix^{i-1} и его частный случай прямая y=ax+b. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
  2. Гипербола, y=k/x, а также прочие нелинейные функции с линейно-входящими параметрами: тригонометрические функции \sin(x), \arcsin(x), гиперболический синус \text{sh}(x), корневые \sqrt{x} и обратно-корневые функции. Эти функции используются в финансовом анализе и других приложениях.

Этот список не является жестко заданным. Выбираемая регрессионная модель зависит прежде всего от экспертных предположений относительно моделируемого явления.

Смотри также

Литература

  • Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
  • Гордин В. А. Как это посчитать? Обработка метеорологической информации на компьютере. Идеи, методы, задачи. МЦНМО, 2006.