Предсказывающие неравенства в задаче эмпирической минимизации риска (виртуальный семинар)
Материал из MachineLearning.
м (Новая: На данной странице предлагается обсуждать [http://www.stat.washington.edu/jaw/COURSES/EPWG/PAPERS-11/sflour_book.pdf лекции] Владимира...) |
м |
||
| Строка 1: | Строка 1: | ||
На данной странице предлагается обсуждать [http://www.stat.washington.edu/jaw/COURSES/EPWG/PAPERS-11/sflour_book.pdf лекции] Владимира Кольчинского. | На данной странице предлагается обсуждать [http://www.stat.washington.edu/jaw/COURSES/EPWG/PAPERS-11/sflour_book.pdf лекции] Владимира Кольчинского. | ||
| - | Перед чтением лекций рекомендуется прослушать видео-запись [http://videolectures.net/mlss09us_koltchinskii_berml/ Bounding Excess Risk in Machine Learning] - | + | |
| + | Перед чтением лекций рекомендуется прослушать видео-запись [http://videolectures.net/mlss09us_koltchinskii_berml/ Bounding Excess Risk in Machine Learning] (в трёх частях, суммарная длительность - порядка трёх часов). | ||
== Открытые замечания == | == Открытые замечания == | ||
| + | |||
| + | Стандартный оценка для excess risk выбрасывает отрицательную величину $P_n(\hat f - \bar f)$, где $\hat f$ --- результат минимизации эмпирического риска, $\bar f$ --- минимизация true риска. Данная величина, некотором смысле, соответствует комбинаторной вероятности переобучения. Потому что данное выражение похоже на усредненное по наблюдаемой выборке значение разности между эмпирически-лучшим и реально-лучшим алгоритмом. Если задуматься, как мерять эту величину, то лучший вариант – это кросс-валидация полного скользящего контроля. Если научиться получать нижние оценки CCV в комбинаторной постановке, то возможно таким образом удалось бы уточнить оценки Кольчинского. Важно, что оценки должны быть нижними, а не верхними --- действительно, стандартная оценка выбрасывает отрицательное слагаемой, а хотелось бы не выбрасывать полностью, а только его кусочек (нижнюю оценку). | ||
[[Категория:Открытые проблемы и полемика]] | [[Категория:Открытые проблемы и полемика]] | ||
Версия 21:26, 23 марта 2012
На данной странице предлагается обсуждать лекции Владимира Кольчинского.
Перед чтением лекций рекомендуется прослушать видео-запись Bounding Excess Risk in Machine Learning (в трёх частях, суммарная длительность - порядка трёх часов).
Открытые замечания
Стандартный оценка для excess risk выбрасывает отрицательную величину $P_n(\hat f - \bar f)$, где $\hat f$ --- результат минимизации эмпирического риска, $\bar f$ --- минимизация true риска. Данная величина, некотором смысле, соответствует комбинаторной вероятности переобучения. Потому что данное выражение похоже на усредненное по наблюдаемой выборке значение разности между эмпирически-лучшим и реально-лучшим алгоритмом. Если задуматься, как мерять эту величину, то лучший вариант – это кросс-валидация полного скользящего контроля. Если научиться получать нижние оценки CCV в комбинаторной постановке, то возможно таким образом удалось бы уточнить оценки Кольчинского. Важно, что оценки должны быть нижними, а не верхними --- действительно, стандартная оценка выбрасывает отрицательное слагаемой, а хотелось бы не выбрасывать полностью, а только его кусочек (нижнюю оценку).
