Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 274, осень 2016
Материал из MachineLearning.
Структурное обучение: порождение и выбор моделей
Курс посвящен обсуждению методов выбора моделей. Обсуждение ведется в формате лекций, эссе и кода. Эссе — это изложение идеи решения задачи. Изложение должно быть достаточно полным (идея восстанавливается однозначно), но кратким (полстраницы). Пишется в свободной форме, с учетом нашего стиля выполнения научных работ: терминологическая точность и единство обозначений приветствуются[1]. Код — это Python jupyter notebook, иллюстрирующий идею.
Оценка=10, где задача (эссе и код)=1, итоговый тест=1 (23 ноября, 30 вопросов, 1 час). Допускается 3 пропуска (как в прошлом семестре).
Эссе и код
Автор | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | T | Оценка |
---|---|---|---|---|---|---|---|---|---|---|---|
Бочкарев Артем | пример | ||||||||||
Гончаров Алексей | |||||||||||
Жариков Илья | doc | ||||||||||
Исаченко Роман | text | ||||||||||
Нейчев Радослав | |||||||||||
Смирнов Евгений | code | ||||||||||
Чинаев Николай | |||||||||||
Анисимов Александр | |||||||||||
Кулага Роман | |||||||||||
Пугач Илья |
Эссе хранятся в личной папке Group274/Surname2016aEssays/ (буква a означает autumn). Ссылка на эссе делается по шаблону
[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Surname2016aEssays/Surname2016Essay1.pdf?format=raw text] [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Surname2016aEssays/Surname2016Essay1.nb?format=raw code]
Задача 0
Подготовка инструментов: выполнить Домашее задание-1, часть 1 и 2 (часть 3 по желанию).
Задача 1
Для одной из моделей регрессии или классификации (двуклассовой или многоклассовой) вычислить значение правдоподобия модели в зависимости от числа признаков (параметров) модели. Данные из UCI. Построить график. По оси абсцисс — число признаков, по левой оси ординат — правдоподобие модели (интеграл знаменателя байесовского вывода первого уровня), по правой оси ординат — правдоподобие данных (левый сомножитель числителя). Матрица ковариации параметров задана, матрица ковариации зависимой переменной вычислена. При этом используются значения оптимальный параметров, так же, как и при вычислении правдоподобия. При вычислении правдоподобия модели интегрируем в окрестности оптимальных параметров. Вид ковариационных матриц, вид оптимальности параметров — на ваше усмотрение.
Тема 1
Введение в связый байесовский вывод
- Связный байесовский вывод, слайды // sf.net/MVR, 2016.
- Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
- Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016.
Задача 2
Задан (порожден винеровским процессом) один временной ряд. В него вставлены сегменты-разладки. Требуется их обнаружить, отметить на графике цветом, вычислить ошибку классификации (число несовпадений, AUC). Для обнаружения разладки ряд разбивается окном. Для каждого окна известна метка (норма или разладка). В каждом окне вычисляется статистика (или несколько) из нижеприведенных. При использовании нескольких возможно использование логистической регрессии для оптимизации весовых параметров. Задача немного упрощена по сравнению с той, что обсуждалась на занятии.
Тема 2
Анализ временных рядов и обнаружение разладок
- Артёмов А.В. Обзор некоторых статистических методов скорейшего обнаружения, 2014, slides.
- Артёмов А.В. Фильтрация сигналов с трендом в задачах обнаружения разладки, 2016, slides.
- А.В. Артемов, Е.В. Бурнаев, “Оптимальное оценивание сигнала, наблюдаемого во фрактальном гауссовском шуме,” Теория вероятностей и ее применения, том 60, вып. 1, 2015.
Тема 3
Построение мультимоделей и анализ пространства их параметров
- Адуенко А.А. Анализ пространства параметров в задаче выбора мультимоделей // МФТИ, 2016.