Материал из MachineLearning.
(Различия между версиями)
Версия 12:27, 4 сентября 2008
Ниже приведены модели, которые используются при регрессионном анализе измеряемых данных.
Параметры моделей обозначены латинскими и греческими буквами: 
, 
— свободная и зависимая переменные.
Все параметры и переменные принадлежат действительным числам. При соединении параметров в вектор 
, для представления модели в виде
 + \varepsilon,)
параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки.
В список не вошли универсальные параметрические модели, например,
нейронная сеть — многослойный перcептрон, функции радиального базиса, полиномы Лагранжа,
полиномы Чебышёва. Также не вошли непараметрические модели.
Оба эти класса требуют специального описания.
Нелинейные модели
Нелинейные регрессионные модели — модели вида
+\varepsilon,)
которые не могут быть представлены в виде скалярного произведения
=(\mathbf{w},\mathbf{g}(\mathbf{x}))=\sum_{i=1}^W w_ig_i(\mathbf{x}).)
Здесь ![\mathbf{w}=[w_1,\ldots, w_W]](../mimetex/?\mathbf{w}=[w_1,\ldots, w_W])
— параметры регрессионной модели,
свободная переменная из пространства 
, 
— зависимая переменная,
— случайная величина и ![\mathbf{g}=[g_1,\ldots, g_W]](../mimetex/?\mathbf{g}=[g_1,\ldots, g_W])
— функция из некоторого
заданного множества.
- Экспонента,
, с линейным коэффициентом, 
. Распространена двухкомпонентная экспоненциальная модель, 
. Модель может быть использована, в частности, если коэффициент изменения величины свободной переменной пропорционален ее начальной величине.
- Ряд Фурье,
+b_i\sin(i\omega{x})\bigr))
. Используется для описания периодических сигналов.
- Сумма гауссианов,
^2}{c_i}))
. Используется для аппроксимации пиков. Коэффициент 
является амплитудой, 
— смещение, коэффициент 
отражает ширину пика. Всего в сумме может быть до 
пиков.
- Моном,
, с линейным коэффициентом, 
. Используется при моделировании размерности физических или химических величин. Например, количество некоторого реагирующего в химической реакции вещества как правило, пропорциональна концентрации этого вещества, возведенного в некоторую степень.
- Рациональный полином,
. Принято считать коэффициент перед 
единицей. Например, если 
, такое соглашение позволит получить уникальные числитель и знаменатель.
- Сумма синусов,
)
. Здесь — амплитуда, — частота, — фаза некоторого периодического процесса.
- Распределение Вейбулла, двухпараметрическое,
)
. Параметр 
является масштабирующим, а параметр 
определяет форму кривой. Трехпараметрическое распределение Вейбулла, со смещением 
, ^b))
.
- Логарифмическая сигмоида,
})
, используются в нейронных сетях, например в MLP, в качестве функций активации.
- Тангенциальная сигмоида,
}-1)
, также используются в качестве функций активации.
Линейные модели
- Полином,
и его частный случай прямая 
. Следует помнить, что полиномы высоких степеней крайне неустойчивы и могут неадекватно описывать измеряемые данные.
- Гипербола,
, а также прочие нелинейные функции с линейно-входящими параметрами: тригонометрические функции , \arcsin(x))
, гиперболический синус )
, корневые 
и обратно-корневые функции. Эти функции используются в финансовом анализе и других приложениях.
Этот список не является жестко заданным. Выбираемая регрессионная модель зависит прежде всего от
экспертных предположений относительно моделируемого явления.
Смотри также
Литература
- Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
- Гордин В. А. Как это посчитать? Обработка метеорологической информации на компьютере. Идеи, методы, задачи. МЦНМО, 2006.
