Модель зависимости
Материал из MachineLearning.
м |
|||
Строка 2: | Строка 2: | ||
'''Целевая зависимость''' — в задачах [[Обучение по прецедентам|обучения по прецедентам]], особенно в задачах [[Обучение с учителем|обучения с учителем]], неизвестная функциональная или стохастическая зависимость между объектами и ответами. | '''Целевая зависимость''' — в задачах [[Обучение по прецедентам|обучения по прецедентам]], особенно в задачах [[Обучение с учителем|обучения с учителем]], неизвестная функциональная или стохастическая зависимость между объектами и ответами. | ||
- | '''Модель зависимости''' — | + | '''Модель зависимости''' — параметрическое семейство функций, в рамках которого ищется функция, приближающая целевую зависимость. {{S|В задачах}} [[Обучение с учителем|обучения с учителем]] параметры модели оптимизируются (обучаются) таким образом, чтобы на объектах выборки выдавались заданные ответы, или близкие к ним. |
== Определения == | == Определения == | ||
Строка 14: | Строка 14: | ||
значнения которой известны только на объектах конечной [[обучающая выборка|обучающей выборки]] | значнения которой известны только на объектах конечной [[обучающая выборка|обучающей выборки]] | ||
<tex>X^m = \{(x_1,y_1),\dots,(x_m,y_m)\}</tex>. | <tex>X^m = \{(x_1,y_1),\dots,(x_m,y_m)\}</tex>. | ||
+ | |||
Задача [[обучение с учителем|обучения с учителем]] (supervised learning) заключается в том, чтобы построить алгоритм <tex>a: X\to Y</tex>, который приближал бы неизвестную целевую зависимость как на элементах выборки, так и на всём множестве <tex>X</tex>. | Задача [[обучение с учителем|обучения с учителем]] (supervised learning) заключается в том, чтобы построить алгоритм <tex>a: X\to Y</tex>, который приближал бы неизвестную целевую зависимость как на элементах выборки, так и на всём множестве <tex>X</tex>. | ||
Строка 32: | Строка 33: | ||
Вероятностная постановка задачи считается более общей, по сравнению с функциональной, | Вероятностная постановка задачи считается более общей, по сравнению с функциональной, | ||
так как функциональную зависимость <tex>y^{*}(x)</tex> | так как функциональную зависимость <tex>y^{*}(x)</tex> | ||
- | можно представить | + | можно представить вероятностным распределением <tex>p(x,y) = p(x) p(y|x)</tex> специального вида, |
- | <tex>p(x,y) = p(x) p(y|x)</tex>, | + | |
положив | положив | ||
<tex>p(y|x) = \delta(y-y^{*}(x))</tex>, | <tex>p(y|x) = \delta(y-y^{*}(x))</tex>, |
Версия 19:06, 1 мая 2008
Целевая зависимость — в задачах обучения по прецедентам, особенно в задачах обучения с учителем, неизвестная функциональная или стохастическая зависимость между объектами и ответами.
Модель зависимости — параметрическое семейство функций, в рамках которого ищется функция, приближающая целевую зависимость. В задачах обучения с учителем параметры модели оптимизируются (обучаются) таким образом, чтобы на объектах выборки выдавались заданные ответы, или близкие к ним.
Определения
Функциональная постановка задачи
Пусть — множество описаний объектов, — множество допустимых ответов. Предполагается, что существует неизвестная целевая зависимость — отображение , значнения которой известны только на объектах конечной обучающей выборки .
Задача обучения с учителем (supervised learning) заключается в том, чтобы построить алгоритм , который приближал бы неизвестную целевую зависимость как на элементах выборки, так и на всём множестве .
Вероятностная постановка задачи
Элементы множества — это не реальные объекты, а лишь их описания, доступная информация об объектах. Полные описания практически никогда не бывают известны. Мы не умеем исчерпывающим образом охарактеризовать, человека, геологический район, производственное предприятие или экономику страны. Поэтому одному и тому же описанию могут соответствовать различные объекты, а, значит, и целое «облако ответов» .
Для формализации этих соображений вводится вероятностная постановка задачи. Вместо существования неизвестной целевой функции постулируется существование неизвестного вероятностного распределения на множестве с плотностью , из которого случайно и независимо выбираются наблюдений . В математической статистике такие выборки называются простыми.
Вероятностная постановка задачи считается более общей, по сравнению с функциональной, так как функциональную зависимость можно представить вероятностным распределением специального вида, положив , где — дельта-функция.
Однако при этом приходится вводить дополнительную гипотезу о существовании на множестве неизвестного распределения . Функциональная постановка задачи никак не связана с вероятностными предположениями, поэтому называть её частным случаем вероятностной не вполне корректно.
Вопросы философии:
- Адекватна ли гипотеза о существовании распределений и практическому опыту?. Многие исследователи соглашаются с этой гипотезой просто потому, что она позволяет привлечь удобный математический аппарат теории вероятностей.
- Правомерно ли трактовать неопределённость, связанную с недостатком информации, как вероятностное распределение ? Существуют и другие подходы, в частности, теория возможности Ю.П.Пытьева и теоретико-множественный подход Трауба, Васильковского и Вожьняковского.
Модель зависимости
Модель зависимости — это параметрическое семейство отображений , где — фиксированная функция, — множество допустимых значений параметра .
Метод минимизации эмпирического риска
Выбор оптимального значения параметра производится, как правило, методом минимизации эмпирического риска. Вводится функция потерь , характеризующая величину отклонения ответа модели от правильного ответа на произвольном объекте .
Типичный выбор функции потерь:
- В задачах классификации ;
- В задачах регрессии ;
- В вероятностном подходе .
Вводится функционал качества, характеризующий среднюю ошибку (эмпирический риск) алгоритма на произвольной выборке
Для выбора оптимального значения параметра решается задача минимизации средней ошибки на обучающей выборке:
Заметим, что при вероятностной постановке задачи метод минимизации эмпирического риска в точности совпадает с методом максимума правдоподобия, если функцию потерь выбрать, как указано выше: .
Таким образом, задача обучения сводится к оптимизации параметров модели и может быть решена либо аналитически, либо численными методами. Оптимизацию приходится применять независимо от того, как формулировалась исходная задача: в функциональных терминах или вероятностных.
Данная постановка является обобщением классических задач аппроксимации функций. В классической аппроксимации объектами являются действительные числа или векторы. В реальных прикладных задачах входные данные об объектах могуть быть многомерными, неоднородными, нечисловыми, неполными, неточными. Эти особенности приводят к большому разнообразию методов обучения с учителем.
Примеры моделей
Линейный пороговый классификатор
Двухслойный персептрон
Сеть радиальных базисных функций
Непараметрический классификатор
Взвешенное голосование логических правил
Модель алгоритмов вычисления оценок (АВО)
Линейная регрессия
Обобщённая линейная регрессия
Нелинейная регрессия
Непараметрическая регрессия
Ссылки
Литература
- Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983.
- Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: исследование зависимостей. — М.: Финансы и статистика, 1985.
- Вапник В. Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979.
- Журавлев Ю. И., Рязанов В. В., Сенько О. В. «Распознавание». Математические методы. Программная система. Практические применения. — М.: Фазис, 2006. ISBN 5-7036-0108-8.
- Пытьев Ю. П. Возможность. Элементы теории и применения. — М.: Эдиториал УРСС, 2000.
- Трауб Дж., Васильковскии Г., Вожьняковский X. Информация, неопределённость, сложность: Пер. с англ. — М.: Мир, 1988.
- Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. — Springer, 2001. ISBN 0-387-95284-5.