Модель зависимости
Материал из MachineLearning.
Целевая зависимость — в задачах обучения по прецедентам, особенно в задачах обучения с учителем, неизвестная функциональная или стохастическая зависимость между объектами и ответами.
Модель зависимости — параметрической семейство функций, используемое для аппроксимации целевой зависимости. В задачах обучения с учителем параметры модели оптимизируются (обучаются) таким образом, чтобы на объектах выборки выдавались заданные ответы, или близкие к ним.
Определения
Функциональная постановка задачи
Пусть — множество описаний объектов,
— множество допустимых ответов.
Предполагается, что существует неизвестная целевая зависимость — отображение
,
значнения которой известны только на объектах конечной обучающей выборки
.
Задача обучения с учителем (supervised learning) заключается в том, чтобы построить алгоритм
, который приближал бы неизвестную целевую зависимость как на элементах выборки, так и на всём множестве
.
Вероятностная постановка задачи
Элементы множества — это не реальные объекты, а лишь их описания, доступная информация об объектах.
Полные описания практически никогда не бывают известны.
Мы не умеем исчерпывающим образом охарактеризовать, человека, геологический район, производственное предприятие или экономику страны.
Поэтому одному и тому же описанию
могут соответствовать различные объекты, а, значит, и целое «облако ответов»
.
Для формализации этих соображений вводится вероятностная постановка задачи.
Вместо существования неизвестной целевой функции постулируется существование неизвестного
вероятностного распределения на множестве
с плотностью
,
из которого случайно и независимо выбираются
наблюдений
.
В математической статистике такие выборки называются простыми.
Вероятностная постановка задачи считается более общей, по сравнению с функциональной,
так как функциональную зависимость
можно представить в виде вероятностного распределения
,
положив
,
где
— дельта-функция.
Однако при этом приходится вводить дополнительную гипотезу
о существовании на множестве неизвестного распределения
.
Функциональная постановка задачи никак не связана с вероятностными предположениями,
поэтому называть её частным случаем вероятностной не вполне корректно.
Вопросы философии:
- Адекватна ли гипотеза о существовании распределений
и
практическому опыту?. Многие исследователи соглашаются с этой гипотезой просто потому, что она позволяет привлечь удобный математический аппарат теории вероятностей.
- Правомерно ли трактовать неопределённость, связанную с недостатком информации, как вероятностное распределение
Модель зависимости
Модель зависимости — это параметрическое семейство отображений , где
— фиксированная функция,
— множество допустимых значений параметра
.
Метод минимизации эмпирического риска
Выбор оптимального значения параметра производится, как правило, методом минимизации эмпирического риска.
Вводится функция потерь
,
характеризующая величину отклонения ответа модели
от правильного ответа
на произвольном объекте
.
Типичный выбор функции потерь:
- В задачах классификации
;
- В задачах регрессии
;
- В вероятностном подходе
.
Вводится функционал качества, характеризующий среднюю ошибку (эмпирический риск) алгоритма
на произвольной выборке
Для выбора оптимального значения параметра решается задача минимизации средней ошибки на обучающей выборке:
Заметим, что при вероятностной постановке задачи метод минимизации эмпирического риска в точности совпадает с методом максимума правдоподобия, если функцию потерь выбрать, как указано выше: .
Таким образом, задача обучения сводится к оптимизации параметров модели и может быть решена либо аналитически, либо численными методами. Оптимизацию приходится применять независимо от того, как формулировалась исходная задача: в функциональных терминах или вероятностных.
Данная постановка является обобщением классических задач аппроксимации функций. В классической аппроксимации объектами являются действительные числа или векторы. В реальных прикладных задачах входные данные об объектах могуть быть многомерными, неоднородными, нечисловыми, неполными, неточными. Эти особенности приводят к большому разнообразию методов обучения с учителем.
