Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

Термину '''регрессионная модель''', используемому в [[регрессионный анализ|регрессионном анализе]], можно сопоставить синонимы: «теория», «гипотеза». Эти термины пришли из статистики, в частности из раздела «[[проверка статистических гипотез]]». Регрессионная модель есть прежде всего гипотеза, которая должна быть подвергнута статистической проверке, после чего она принимается или отвергается. Регрессионная модель&nbsp;<tex>f(\mathbf{w},\mathbf{x})</tex>&nbsp;— это параметрическое семейство функций, задающее отображение <center><tex>f:W\times X\longrightarrow Y,</tex></center> где&nbsp;<tex>\mathbf{w}\in W</tex>&nbsp;— пространтсво параметров, <tex>\mathbf{x}\in X</tex>&nbsp;— пространство [[свободная переменная|свободных переменных]], <tex>Y</tex>&nbsp;— пространство [[зависимая переменная|зависимых переменных]]. Так как регрессионный анализ предполагает поиск зависимости матожидания случайной величины от свободных переменных <tex>E(y|\mathbf{x})=f(\mathbf{x})</tex>, то в её состав входит аддитивная случайная величина&nbsp;<tex>\varepsilon</tex>: <center><tex>y=f(\mathbf{w},\mathbf{x})+\varepsilon.</tex></center> Предположение о характере распределения случайной величины&nbsp;<tex>\nu</tex> называются [[гипотеза порождения данных|гипотезой порождения данных]]. Эта гипотеза играет центральную роль в выборе критерия оценки качества модели и, как следствие, в способе настройки параметров модели. Модель является настроенной (обученной) когда зафиксированы её параметры, то есть модель задаёт отображение <center><tex>f:X\longrightarrow Y</tex></center> для фиксированного значения&nbsp;<tex>\bar{\mathbf{w}}</tex>. Различают ''математическую модель'' и ''регрессионную модель''. Математическая модель предполагает участие аналитика в конструировании функции, которая описывает некоторую известную закономерность. Математическая модель является интерпретируемой&nbsp;— объясняемой в рамках исследуемой закономерности. При построении математической модели сначала создаётся параметрическое семейство функций, затем с помощью измеряемых данных выполняется ''идентификация модели''&nbsp;— нахождение её параметров. Известная функциональная зависимость объясняющей переменной и переменной отклика&nbsp;— основное отличие математического моделирования от регрессионного анализа. Недостаток математического моделирования состоит в том, что измеряемые данные используются для верификации, но не для построения модели, вследствие чего можно получить неадекватную модель. Также затруднительно получить модель сложного явления, в котором взаимосвязано большое число различных факторов. Регрессионная модель объединяет широкий класс универсальных функций, которые описывают некоторую закономерность. При этом для построения модели в основном используются измеряемые данные, а не знание свойств исследуемой закономерности. Такая модель часто неинтерпретируема, но более точна. Это объясняется либо большим числом моделей-претендентов, которые используются для построения оптимальной модели, либо большой сложностью модели. Нахождение параметров регрессионной модели называется ''обучением модели''. Недостатки регрессионного анализа: модели, имеющие слишком малую сложность, могут оказаться неточными, а модели, имеющие избыточную сложность, могут оказаться ''[[переобучение|переобученными]]''. Примеры регрессионных моделей: линейные функции, алгебраические полиномы, ряды Чебышёва, нейронные сети без обратной связи, например, однослойный персептрон Розенблатта, радиальные базисные функции и прочее. И регрессионная, и математическая модель, как правило, задают непрерывное отображение. Требование непрерывности обусловлено классом решаемых задач: чаще всего это описание физических, химических и других явлений, где требование непрерывности выставляется естественным образом. Иногда на отображение&nbsp;<tex>f</tex> накладываться ограничения монотонности, гладкости, измеримости, и некоторые другие. Теоретически, никто не запрещает работать с функциями произвольного вида, и допускать в моделях существование не только точек разрыва, но и задавать конечное, неупорядоченное множество значений свободной переменной, то есть, превращать задачи регрессии в задачи классификации. При решении задач регрессионного анализа встают следующие вопросы. * Как выбрать тип и структуру модели, какому именно семейству она должна принадлежать? * Какова гипотеза порождения данных, каково распределение случайной переменной? * Какой целевой функцией оценить качество аппроксимации? * Каким способом отыскать параметры модели, каков должен быть [[алгоритм]] оптимизации параметров? == Смотри также == * [[Модель зависимости]] * [[Регрессионный анализ]] * [[Анализ регрессионных остатков]] * [[Символьная регрессия]] * [[Линейная регрессия (пример)]] == Литература == * Дрейпер&nbsp;Н., Смит&nbsp;Г. Прикладной регрессионный анализ. М.:&nbsp;Издательский дом «Вильямс».&nbsp;2007. * Стрижов В. В. Методы индуктивного порождения регрессионных моделей. М.: ВЦ РАН. 2008. 55&nbsp;с. [[Media:strijov08ln.pdf|Брошюра, PDF]]. == Литература == * Bishop,&nbsp;C. Pattern Recognition And Machine Learning. Springer. 2006. * MacKay,&nbsp;D. Information, inference, learning algorithms. Cambridge University Press. 2003. * Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007. * Nabney, Yan T., Netlab: Algorithms for pattern recognition. Springer. 2004. * Lehmann,&nbsp;E.&nbsp;L., Romano,&nbsp;J.&nbsp;P. Testing Statistical Hypotheses. Springer. 2005. * Burnham,&nbsp;K., Anderson,&nbsp;D.&nbsp;R. Model Selection and Multimodel Inference. Springer. 2002. * Grunwald,&nbsp;P&nbsp;D., Myung,&nbsp;I.&nbsp;J. (eds.) Advances In Minimum Description Length: Theory And Applications. Springer. 2005. * Стрижов В. В. Методы индуктивного порождения регрессионных моделей. М.: ВЦ РАН. 2008. 55&nbsp;с. [[Media:strijov08ln.pdf|Брошюра, PDF]]. [[Категория:Регрессионный анализ]] [[Категория:Энциклопедия анализа данных]] [[Категория:Популярные и обзорные статьи]]

Возврат к странице Регрессионная модель.