Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 474, весна 2018
Материал из MachineLearning.
(→Тема 3) |
(→Тема 3) |
||
Строка 112: | Строка 112: | ||
* [http://volker.nannen.com/pdf/short_introduction_to_model_selection.pdf Volker Nannen, A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL), 2013], see also [http://volker.nannen.com/work/mdl/]. | * [http://volker.nannen.com/pdf/short_introduction_to_model_selection.pdf Volker Nannen, A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL), 2013], see also [http://volker.nannen.com/work/mdl/]. | ||
* [https://homepages.cwi.nl/~pdg/ftp/mdlintro.pdf Peter Grunwald, A Tutorial Introduction to the Minimum Description Length Principle, 2004] | * [https://homepages.cwi.nl/~pdg/ftp/mdlintro.pdf Peter Grunwald, A Tutorial Introduction to the Minimum Description Length Principle, 2004] | ||
- | * [https://www.sciencedirect.com/science/article/pii/0005109878900055?via%3Dihub Jorma Rissanen, Modeling by shortest data description // Automatica, 1978, 14(5): 465-471. | + | * [https://www.sciencedirect.com/science/article/pii/0005109878900055?via%3Dihub Jorma Rissanen, Modeling by shortest data description // Automatica, 1978, 14(5): 465-471.] |
=== Тема 4=== | === Тема 4=== |
Версия 00:31, 12 марта 2018
Постановка задач в машинном обучении, практические занятия
Курс посвящен технике изложения основной идеи исследования. Обсуждаются постановки задач выбора моделей и способы построения функции ошибки. Обсуждение ведется в формате эссе. Эссе — это изложение идеи постановки и решения задачи. Изложение должно быть достаточно полным (идея восстанавливается однозначно), но кратким (полстраницы) и ясным. Задача ставится формально, желательно использование языка теории множеств, алгебры, матстатистики. Желательно ставить задачу в формате argmin. Пишется в свободной форме, с учетом нашего стиля выполнения научных работ: терминологическая точность и единство обозначений приветствуются[1]. Желательно приводить решение задачи в краткой форме. Обсуждаются эссе слушателей, которые лично присутствуют на занятии и могут прокомментировать задачу. Продолжительность доклада 3 минуты. Для доклада необходимо загрузить эссе в репозиторий и поставить ссылку в таблицу. Оценка выставляется за устный доклад: A или Z баллов.
Эссе хранятся в личной папке Group374/Surname2017Essays/. В папке этого примера есть шаблон эссе. Ссылка на эссе делается по шаблону
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Surname2017Essays/Surname2017Essay1.pdf?format=raw 1]
Можно делать эссе на слайдах с целью укорочения текста.
- Короткая ссылка на страницу bit.ly/2F9iLgW
Важно участвовать в обсуждении (можно по скайпу). Отложенных выступлений не предусмотрено в силу невозможности организовать обсуждение 88 докладов. |
Результаты
Автор | Ссылки на эссе | Доклад | |
---|---|---|---|
Федоряка Дмитрий (пример) | 1 , | 1A,2A,3Z,4A,5A,6A,T7,T8 | 10 |
Алексеев Василий | 1A+ | ||
Гасанов Эльнур | |||
Захаренков Антон | 1 | 1Z | |
Ковалев Дмитрий | |||
Макарчук Глеб | 1 | ||
Рыбка Елизавета | 1A | ||
Селезнева Мария | |||
Смердов Антон | |||
Усманова Карина | |||
Шибаев Иннокентий | |||
Шолохов Алексей |
Задача 1
Предложить метод, аналогичный методу главных компонент для выборки с признаками, измеренными разнородных шкалах: номинальными, ординальными, линейными, с возможными пропусками. Звездочка: оценить максимальное число пропусков, допустимое для восстановления выборки с заданной точностью. Пример: Бахтеев О.И. Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков // Машинное обучение и анализ данных. 2015. T. 1, №11. C. 1484 - 1499.
Выбор моделей в задачах регрессии и классификации, лекции
Перед лекциями слушателям предлагается, по желанию, ответить на пять вопросов. Экзамен в конце семестра содержит 50 вопросов, длительность экзамена 1 час.
Тема 1
- В.В. Стрижов. Связанный байесовский вывод
- David J C MacKay. 2014. Information theory, inference, and learning algorithms глава 28.
Тема 2
- В.В. Стрижов. Методы оптимизации параметров вероятностных моделей
- Аппроксимация Лапласа глава 27.
- Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
Тема 3
Оптимизация параметров для выбора моделей глубокого обучения
- О.Ю. Бахтеев, В.В. Стрижов, Выбор моделей глубокого обучения cубоптимальной сложности // Автоматика и телемеханика, 2018
- О.Ю. Бахтеев, Выбор моделей глубокого обучения cубоптимальной сложности
- Volker Nannen, A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL), 2013, see also [2].
- Peter Grunwald, A Tutorial Introduction to the Minimum Description Length Principle, 2004
- Jorma Rissanen, Modeling by shortest data description // Automatica, 1978, 14(5): 465-471.
Тема 4
Оптимизация гиперпатаметров
Тема 5
Правдоподобие модели
Тема 6
Мультимодели
Тема 7
Оценка оптимального объема выборки
Тема 8
Вариационные оценки
Тема 9
Выбор обобщенно-линейных моделей
Тема 10
Выбор универсальных моделей