Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 474, весна 2018

Материал из MachineLearning.

Версия 07:10, 14 марта 2018

Основная статья: Численные методы обучения по прецедентам (практика, В.В. Стрижов)

Постановка задач в машинном обучении, практические занятия

Курс посвящен технике изложения основной идеи исследования. Обсуждаются постановки задач выбора моделей и способы построения функции ошибки. Обсуждение ведется в формате эссе. Эссе — это изложение идеи постановки и решения задачи. Изложение должно быть достаточно полным (идея восстанавливается однозначно), но кратким (полстраницы) и ясным. Задача ставится формально, желательно использование языка теории множеств, алгебры, матстатистики. Желательно ставить задачу в формате argmin. Пишется в свободной форме, с учетом нашего стиля выполнения научных работ: терминологическая точность и единство обозначений приветствуются[1]. Желательно приводить решение задачи в краткой форме. Обсуждаются эссе слушателей, которые лично присутствуют на занятии и могут прокомментировать задачу. Продолжительность доклада 3 минуты. Для доклада необходимо загрузить эссе в репозиторий и поставить ссылку в таблицу. Оценка выставляется за устный доклад: A или Z баллов.

Эссе хранятся в личной папке Group374/Surname2017Essays/. В папке этого примера есть шаблон эссе. Ссылка на эссе делается по шаблону

 [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Surname2017Essays/Surname2017Essay1.pdf?format=raw 1] 

Можно делать эссе на слайдах с целью укорочения текста.

• Короткая ссылка на страницу bit.ly/2F9iLgW

Важно участвовать в обсуждении (можно по скайпу). Отложенных выступлений не предусмотрено в силу невозможности организовать обсуждение 88 докладов.

Результаты

Автор	Ссылки на эссе	Доклад
Федоряка Дмитрий (пример)	1 , 2 , 4 , 5 , 6 , 7	1A,2A,3Z,4A,5A,6A,T7,T8	10
Алексеев Василий	1, 2		1A+
Гасанов Эльнур
Захаренков Антон	1		1Z
Иванычев Сергей	2
Ковалев Дмитрий
Макарчук Глеб	1, 2
Рыбка Елизавета			1A
Селезнева Мария
Смердов Антон
Усманова Карина
Шибаев Иннокентий
Шолохов Алексей

Задача 1

Предложить метод, аналогичный методу главных компонент для выборки с признаками, измеренными разнородных шкалах: номинальными, ординальными, линейными, с возможными пропусками. Звездочка: оценить максимальное число пропусков, допустимое для восстановления выборки с заданной точностью. Пример: Бахтеев О.И. Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков // Машинное обучение и анализ данных. 2015. T. 1, №11. C. 1484 - 1499.

Задача 2

Предложить метод, аналогичный методу Mixture of experts для выборок, заданных в полностью или частично упорядоченных шкалах. Метод не должен использовать вероятностных допущений (только матрицу объект-модель). Он должен быть отличен от кластеризации с последующей классификацией кластеров. Примеры корректной работы с такими шкалами первый, см стр. 10 и далее, второй.

Выбор моделей в задачах регрессии и классификации, лекции

Перед лекциями слушателям предлагается, по желанию, ответить на пять вопросов. Экзамен в конце семестра содержит 50 вопросов, длительность экзамена 1 час.

Тема 1

Выбор вероятностных моделей

• В.В. Стрижов. Связанный байесовский вывод
• David J C MacKay. 2014. Information theory, inference, and learning algorithms глава 28.

Тема 2

Методы оптимизации параметров вероятностных моделей

• В.В. Стрижов. Методы оптимизации параметров вероятностных моделей
• Аппроксимация Лапласа глава 27.
• Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.

Тема 3

Оптимизация параметров для выбора моделей глубокого обучения

• О.Ю. Бахтеев, В.В. Стрижов. Выбор моделей глубокого обучения cубоптимальной сложности // Автоматика и телемеханика, 2018.
• О.Ю. Бахтеев. Выбор моделей глубокого обучения cубоптимальной сложности.
• Volker Nannen. A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL), 2013, see also [2].
• Peter Grunwald. A Tutorial Introduction to the Minimum Description Length Principle, 2004.
• Jorma Rissanen. Modeling by shortest data description // Automatica, 1978, 14(5): 465-471.

Тема 4

Выбор вероятностных моделей иерархической классификации

• А.А. Кузьмин. Иерархическая классификация коллекций документов, 2017, слайды.
• А.А. Кузьмин, В.В. Стрижов. Иерархическая классификация коллекции коротких текстов , 2017.

Тема 5

Оптимизация гиперпараметров вероятностных моделей

• О.Ю. Бахтеев, В.В. Стрижов. Оптимизация гиперпараметров моделей глубокого обучения градиентными методами, 2018.

Тема 5

Правдоподобие модели

Тема 6

Мультимодели

Тема 7

Оценка оптимального объема выборки

Тема 8

Вариационные оценки

Тема 9

Выбор обобщенно-линейных моделей

Тема 10

Выбор универсальных моделей