Обсуждение:Модель зависимости

Материал из MachineLearning.

Функция потерь относится к постановке задачи, а не к методу минимизации эмпирического риска. — Nvm 17:51, 24 июня 2008 (MSD)

Согласен. Фактически, весь первый раздел и есть постановка задачи. Выделил в нём отдельный подраздел «Функционал качества». — К.В.Воронцов 19:13, 26 июня 2008 (MSD)

Только функция потерь не зависит от использования или неиспользования вероятностной постановки, поскольку это просто величина штрафа за неверный ответ, независимо от того, как он получен и как выбран объект, на котором он получен. Вношу правку. — Nvm 08:39, 27 июня 2008 (MSD)

Витя, а вот здесь ты не осознал клёвую фишку! Дело в том, что если мы находимся в рамках вероятностной постановки и применяем метод максимума правдоподобия, то, оказывается, что это равносильно минимизации эмпирического риска при соотвествующей функции потерь. Это концептуально важный «мостик» между вероятностным и чисто оптимизационным подходом к обучению. Он показывает, то оба подхода — суть одно и то же. На практике, как ни крути, обучение сводится к оптимизации. Мне кажется очень важным, чтобы и студенты осознавали эту связь. Поэтому убедительная просьба — вернуть обратно вероятностную функцию потерь! — К.В.Воронцов 20:30, 27 июня 2008 (MSD)

Фишку я не удалял. Утверждение о связи минимизации эмпирического риска и м.м.п. осталось, только в другой формулировке. По сути, правки чисто терминологические, но это принципиальный момент. Критерий выбора решения обычно строится на основе функции потерь, но это не значит, что любой оптимизационный критерий выбора решения нужно и можно называть функцией потерь. Функция потерь - это цена ошибки, и ни что иное. Например, поставили правильный диагноз - пациент выздоровел, неправильный - умер. Произвол распознавателя здесь при выборе функции потерь лишь в том, как назначить числовые веса двум расмотренным исходам. Но фактически, функция потерь - часть входной информации в задачах оценивания эмпирических зависимостей. При этом, оптимизационные критерии выбора решения могут выбираться полностью на усмотрение исследователя, но нет оснований называть их функцией потерь. Отличие вероятностной постановки в этом контексте только в том, что она позволяет ввести математическое ожидание функции потерь. Nvm 07:21, 28 июня 2008 (MSD)

Что касается связи функции потерь и функции правдоподобия, то во-первых, нужно заметить, что метод максимального правдоподобия решает не задачу классификации, а задачу оценивания распределений, которая может использоваться как этап решения задачи классификации, а может ставиться самостоятельно. В первом случае функция потерь - цена ошибки классификации. Во втором случае функция потерь должна отражать точность оценки распределения. В этой роли может выступать, например, средний квадрат разности истинных и оцененных значений параметров распределения. Но значение функции правдоподобия на эту роль не подходит. Nvm 07:39, 28 июня 2008 (MSD)