Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{TOCright}} '''Эмпирический риск''' (Empirical Risk) — это средняя величина ошибки [[алгоритм]]а на [[обучающая выборка|обучающей выборке]]. Метод '''минимизации эмпирического риска''' (Empirical Risk Minimization, ERM) — это общий подход к решению широкого класса задач [[обучение по прецедентам|обучения по прецедентам]], в первую очередь — задач [[обучение с учителем|обучения с учителем]], включая задачи [[классификация|классификации]] и [[регрессия|регрессии]]. == Определения == === Задача обучения по прецедентам === Пусть <tex>X</tex> — множество описаний объектов, <tex>Y</tex> — множество допустимых ответов. Предполагается, что существует неизвестная ''целевая зависимость'' — отображение <tex>y^{*}:\: X\to Y</tex>, значения которой известны только на объектах конечной [[обучающая выборка|обучающей выборки]] <tex>X^m = \{(x_1,y_1),\ldots,(x_m,y_m)\}</tex>. ''Задача обучения по прецедентам'' состоит в том, чтобы построить алгоритм <tex>a:\: X\to Y</tex>, который приближал бы неизвестную целевую зависимость как на элементах выборки, так и на всём множестве <tex>X</tex>. === Функция потерь и эмпирический риск === Вводится ''[[функция потерь]]'' <tex>{\mathcal L}(y,y')</tex>, характеризующая величину отклонения ответа <tex>y=a(x)</tex> от правильного ответа <tex>y'=y^{*}(x)</tex> на произвольном объекте <tex>x\in X</tex>. Вводится ''[[модель алгоритмов]]'' <tex>A= \{a:\: X\to Y\}</tex>, в&nbsp;рамках которой будет вестись поиск отображения, приближающего неизвестную целевую зависимость. ''Эмпирический риск'' — это функционал качества, характеризующий среднюю ошибку алгоритма <tex>a</tex> на выборке <tex>X^m</tex>: ::<tex>Q(a,X^m) = \frac{1}{m} \sum_{i=1}^m {\mathcal L}(a(x_i),y^{*}(x_i)).</tex> ''Метод минимизация эмпирического риска'' заключается в том, чтобы в&nbsp;заданной ''модели алгоритмов''&nbsp;<tex>A</tex> найти алгоритм, доставляющий минимальное значение функционалу эмпирического риска: ::<tex>a = \mathrm{arg}\min_{a\in A} Q(a,X^m).</tex> === Разновидности функций потерь === '''В задачах [[Задача классификации|классификации]]''' наиболее естественным выбором является ''пороговая функция потерь'' ::<tex>{\mathcal L}(y,y') = [y'\neq y].</tex> Когда функция потерь разрывна, минимизация эмпирического риска оказывается сложной задачей комбинаторной оптимизации. Во&nbsp;многих практически важных случаях эта сводится к поиску [[Задача поиска максимальной совместной подсистемы|максимальной совместной подсистемы]] в системе неравенств (число неравенств совпадает с число объектов обучения&nbsp;<tex>m</tex>) и является [[NP-полная задача|''NP''-полной]]. Наряду с пороговыми фукциями потерь используются всевозможные их ''непрерывные аппроксимации'', что позволяет применять достаточно эффективные классические методы непрерывной оптимизации, в&nbsp;том числе градиентные методы. Более того, оказывается, что использование некоторых аппроксимаций способно улучшать [[обобщающая способность|обобщающую способность]] алгоритма классификации. Более подробно непрерывные аппроксимации рассматриваются в статье «[[Линейный классификатор]]». '''В задачах [[Задача регрессии|регрессии]]''' наиболее типичным выбором является ''квадратичная функция потерь'' ::<tex>{\mathcal L}(y,y') = (y'-y)^2.</tex> == Достоинства и недостатки метода == Основное достоинство заключается в том, что это конструктивный и универсальный подход, позволяющий сводить задачу обучения к задачам численной оптимизации. Основной недостаток — явление ''[[переобучение|переобучения]]'', которое возникает практически всегда при использовании метода минимизации эмпирического риска. * Ограничение сложности модели ** [[Метод структурной минимизации риска]] ** [[Отбор признаков]] * Наложение дополнительных ограничений на параметры модели ** [[Регуляризация]] ** [[Байесовская регуляризация]] == Разновидности моделей алгоритмов == * Линейные модели классификации * Линейные модели регрессии * Нелинейные модели классификации * Нелинейные модели регрессии == Литература == # {{П:Вапник 74}} # {{П:Вапник 79}} # {{П:Hastie 2001 The Elements of Statistical Learning}} == См. также == * [[Переобучение]] * [[Теория вычислительного обучения]] * [[Восстановление зависимостей по эмпирическим данным]] * [[Теория Вапника-Червоненкиса]] * [[Линейный классификатор]] == Ссылки == {{stub}} [[Категория:Теория вычислительного обучения]]

• Шаблон:Nobr
• Шаблон:Stub
• Шаблон:TOCright
• Шаблон:ВсеАвторы
• Шаблон:Заготовка
• Шаблон:Книга
• Шаблон:Монография
• Шаблон:Переводы
• Шаблон:Подробнее
• Публикация:Hastie 2001 The Elements of Statistical Learning
• Публикация:Вапник 1974 Теория распознавания образов
• Публикация:Вапник 1979 Восстановление зависимостей
• Публикация:Вапник 74
• Публикация:Вапник 79

Возврат к странице Минимизация эмпирического риска.