Предсказывающие неравенства в задаче эмпирической минимизации риска (виртуальный семинар)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Открытые замечания)
м (Открытые замечания)
Строка 5: Строка 5:
== Открытые замечания ==
== Открытые замечания ==
-
*Стандартная оценка для excess risk выбрасывает отрицательную величину $P_n(\hat f - \bar f)$, где $\hat f$ --- результат минимизации эмпирического риска, $\bar f$ --- минимизация true риска. Данная величина, некотором смысле, соответствует комбинаторной вероятности переобучения. Потому что данное выражение похоже на усредненное по наблюдаемой выборке значение разности между эмпирически-лучшим и реально-лучшим алгоритмом. Если задуматься, как мерять эту величину, то лучший вариант – это кросс-валидация полного скользящего контроля. Если научиться получать нижние оценки CCV в комбинаторной постановке, то возможно таким образом удалось бы уточнить оценки Кольчинского. Важно, что оценки должны быть нижними, а не верхними --- действительно, стандартная оценка выбрасывает отрицательное слагаемой, а хотелось бы не выбрасывать полностью, а только его кусочек (нижнюю оценку).
+
*Стандартная оценка для excess risk выбрасывает отрицательную величину <tex>P_n(\hat f - \bar f)</tex>, где <tex>\hat f</tex> --- результат минимизации эмпирического риска, <tex>$\bar f$</tex> --- минимизация true риска. Данная величина, некотором смысле, соответствует комбинаторной вероятности переобучения. Потому что данное выражение похоже на усредненное по наблюдаемой выборке значение разности между эмпирически-лучшим и реально-лучшим алгоритмом. Если задуматься, как мерять эту величину, то лучший вариант – это кросс-валидация полного скользящего контроля. Если научиться получать нижние оценки CCV в комбинаторной постановке, то возможно таким образом удалось бы уточнить оценки Кольчинского. Важно, что оценки должны быть нижними, а не верхними --- действительно, стандартная оценка выбрасывает отрицательное слагаемой, а хотелось бы не выбрасывать полностью, а только его кусочек (нижнюю оценку).
[[Категория:Открытые проблемы и полемика]]
[[Категория:Открытые проблемы и полемика]]

Версия 21:28, 23 марта 2012

На данной странице предлагается обсуждать лекции Владимира Кольчинского.

Перед чтением лекций рекомендуется прослушать видео-запись Bounding Excess Risk in Machine Learning (в трёх частях, суммарная длительность - порядка трёх часов).

Открытые замечания

  • Стандартная оценка для excess risk выбрасывает отрицательную величину P_n(\hat f - \bar f), где \hat f --- результат минимизации эмпирического риска, $\bar f$ --- минимизация true риска. Данная величина, некотором смысле, соответствует комбинаторной вероятности переобучения. Потому что данное выражение похоже на усредненное по наблюдаемой выборке значение разности между эмпирически-лучшим и реально-лучшим алгоритмом. Если задуматься, как мерять эту величину, то лучший вариант – это кросс-валидация полного скользящего контроля. Если научиться получать нижние оценки CCV в комбинаторной постановке, то возможно таким образом удалось бы уточнить оценки Кольчинского. Важно, что оценки должны быть нижними, а не верхними --- действительно, стандартная оценка выбрасывает отрицательное слагаемой, а хотелось бы не выбрасывать полностью, а только его кусочек (нижнюю оценку).
Личные инструменты