Участник:Nkzh

Материал из MachineLearning.

---

Версия 17:03, 12 июня 2012

Животовский Никита Кириллович

МФТИ, ФУПМ

Кафедра "Интеллектуальные системы"

Направление "Интеллектуальный анализ данных"

nikita.zhivotovskiy@phystech.edu

Отчеты о научно-исследовательской работе

Осень 2011, 9-й семестр

Оценка частоты тестовой ошибки с помощью скользящего контроля

На практике для оценивания обобщающей способности обучаемых алгоритмов часто используется оценка скользящего контроля с одним отделяемым объектом LOO (leave-one-out cross-validation). Несмотря на широкое применение, известные теоретические обоснования LOO пока либо сильно привязаны к конкретному методу обучения, либо представляют собой сильно завышенные оценки вероятности большого отклонения действительной вероятности ошибки от оценки LOO. В работе используется комбинаторный подход, с помощью которого удается значительно улучшить ранние результаты.

Публикации

Животовский Н.К. Комбинаторные оценки вероятности отклонения тестовой ошибки от ошибки скользящего контроля // , ММРО — 15, 2011. — С. 52-55 (опубликовано)

Весна 2012, 10-й семестр

Вопросы точности комбинаторных оценок вероятности переобучения

Одной из главных задач статистической теории обучения является оценивание обощающей способности обучающихся алгоритмов. Оценки, получаемые с помощью теории Вапника-Червоненкиса являются черезмерно завышенными и часто теряют свой практический смысл. Но с помощью комбинаторной теории переобучения удается не только улучшить известные оценки, но даже в некоторых частных случаях получить эффективно вычисляемые точные оценки. Целью работы является описание всех семейств алгоритмов, для которых комбинаторные оценки расслоения-связности точны.

Часть результатов изложена в 9-ом семестре на конференции МФТИ. В 10-ом семестре оформлена статья, посвященная подробному описанию искомых семейств. Результаты статьи также докладывались на семинаре, посвященном комбинаторному подходу к оценке вероятности переобучения.

Публикации

Животовский Н.К. Критерий точности комбинаторных оценок вероятности переобучения // МФТИ-54, том 2, 2011, С. 99-100 (опубликовано)

Животовский Н.К. О точных оценках вероятности переобучения //, 2012 (Написана, в настоящий момент не опубликована)

Оценки избыточного риска

Изучались современные подходы для оценки избыточного риска в задачах минимизации эмпирического риска. С помощью неравенств концентрации меры удается получить оценки избыточного риска, зависящие только от обучающей выборки, что в дальнейшем может быть использовано в вопросах как model selection, так и непосредственно при обучении для достижения наибольшей обощающей способности.