Выбор моделей в машинном обучении (теория и практика, О.Ю. Бахтеев, В.В. Стрижов)/Группа 574, осень 2020
Материал из MachineLearning.
(Различия между версиями)
(→Расписание) |
(→Расписание) |
||
| Строка 110: | Строка 110: | ||
|Бахтеев, [https://github.com/bahleg/tex_slides/blob/master/sen_20/slides_bpl.pdf Байесовское программирование Руслана Салахутдинова - что было и чем закончилось] | |Бахтеев, [https://github.com/bahleg/tex_slides/blob/master/sen_20/slides_bpl.pdf Байесовское программирование Руслана Салахутдинова - что было и чем закончилось] | ||
|Плетнев, [https://github.com/NikitaOmsk/ChoiceModel/blob/main/flows__theory_.pdf Авторегрессионные потоки и VAR] | |Плетнев, [https://github.com/NikitaOmsk/ChoiceModel/blob/main/flows__theory_.pdf Авторегрессионные потоки и VAR] | ||
| - | |Самохина, Self-Attention и априорные знания | + | |Самохина, [http://bit.ly/388ayWP Self-Attention и априорные знания] |
|- | |- | ||
|18 | |18 | ||
Версия 09:45, 16 декабря 2020
https://us04web.zoom.us/j/71655633948?pwd=QnRCNFRnTDZiaWt5dVhPRFp1cS9YUT09 занятие в среду 9 сентября в 10:30
Серия семинаров и докладов на тему выбора моделей машинного обучения. Обсуждаются теоретические аспекты и практика байесовского подхода к выбору моделей. Цель семинаров - обсудить роль априорной информации (информативного априорного распределения, informative prior) в методах выбора интерпретируемых моделей с заданными свойствами. Основные вопросы:
- Как учитывать экспертные знания при назначении АР (постановка задач байесовского выбора моделей)?
- Каким образом связаны теоретические модели прикладной области с информативным АР (интерпретируемость моделей с точки зрения теории)?
- Как использовать новую информацию, полученную в результате вывода, при дальнейшем назначении АР (непрерывное обучение)?
Короткий адрес страницы bit.ly/IS_prior, таблица для редактирования
Курс - это cерия семинаров c разбором задач и теоретических новинок с прикладной составляющей (систематизация без популяризации).
| Цель быть понятным, когда речь идет о сложных вопросах |
На каждом семинаре повышается квалификация докладчика:
- способность систематизировать теоретические работы и представить в виде единого ясного непротиворечивого сообщения,
- способность увидеть в прикладной задаче систематическую формальную постановку, которая приведет к быстрому качественному решению коммерческого проекта (в отличие от неформальной, при которой программисты работают с черными ящиками и решают проблему исходя не из алгебраической и статистической постановки задачи, а из доступного инструментария). Основная ошибка при подготовке к лекциям - сам разобрался недостаточно подробно и скопировал материал статьи. Опорных статей доблжно быть несколько. На них следует ссылаться внутри слайдов и в конце доклада.
Требования к семинарам, теория
- Единая нотация
- Решаемая проблема
- Основные положения, гипотезы
- Решение
- Свойства и ограничения решения
- Альтернативные решения
- Теоретическая значимость
- Применение на практике
|
| Понимать технологическую новость как будто сам сделал этот проект |
Требования к семинарам, практика
- Примеры прикладной задачи
- Неформальная постановка задачи
- Формальная постановка (в рекомендуемых обозначениях Кузнецов-Катруца-Мотренко-Адуенко-Бахтеев TODO ссылки) в которой есть
- алгебраические структуры на данных
- гипотезы порождения данных
- функции ошибки
- Возможные детали:
- виды моделей, выбор моделей, методы оптимизации
- инструменты для прораммирования
Темы семинаров
- Байесовский вывод (повторение).
- Вариационный вывод, семплирование, VAR, GAN (повторение)
- Оптимизация структур моделей и распределения структурных параметров
- Смеси моделей, смеси экспертов и их применение
- Прямое, обратное преобразование Фурье, его аппроксимация и АР
- Спектральная теория графов и АР
- Применение байесовских методов в биологии и в EM, SRF микроскопии
- Применение байесовских методов в теоретической физике
- Экспертное обучение и способы назначения априорных распределений
- GAN и порождение структур агностических моделей
- Байесовский подход в теории игр и задачи ИИ
- Байесовское программирование и задачи порождения рукописных текстов
- Необходимый размер выборки и его приложения в обучении с подкреплением
Темы на выбор
Указать в таблице одну из тем:
Расписание
| Дата | Тема | Тема | Тема |
|---|---|---|---|
| 16 | Стрижов, Мотивация курса | ||
| 23 | Бахтеев, Критический анализ методов выбора моделей | Грабовой Message passing | Моргачев, Приложения Muiti-Head attention |
| 30 | Грабовой, Привилегированное обучение и дистилляция моделей | Новицкий, GAN для решения задач ATLAS | |
| 7 октября | Грабовой, Стрижов, Обучение экспертов | ||
| 14 | Нейчев, Построение информативных априорных моделей в задачах привилегированного обучения | Моргачев, Обзор обзоров GCNN | Самохина, Generalization in Deep Reinforcement Learning и приложения |
| 21 | Потанин, Автоэнкодеры для порождения моделей | ||
| 28 | Адуенко, Байесовский подход к теоретико-игровым задачам | Плетнев, Flows for manifold learning и приложения в моделировании | Грабовой, BERT - теория и анализ свойств с прилоожениями |
| 4 ноября | |||
| 11 | Бахтеев, Байесовское программирование Руслана Салахутдинова - что было и чем закончилось | Плетнев, Авторегрессионные потоки и VAR | Самохина, Self-Attention и априорные знания |
| 18 | Исаченко, Стрижов, Априорные предположения при множественном прогнозе PLS | Новицкий, Проблемы и развитие GAN | |
| 25 | Никитин, генерация графов | Кириллов, Алгоритм Герхберга-Сакстона и его вариации | |
| 2 декабря | Кислинский Самообучение | ||
| 9 | Стрижов, Что думает научное сообщество про учет теорий при построении моделей | Кириллов, Байесовский подход к определению структуры в криоэлектронной микроскопии | |
| 16 | Кислинский Нейронные дифференциальные уравнения |
Зачеты
- По семинарам: присутствие на семинарах и собеседование в конце, вопросы.
- По практике: две лекции на 40 минут по заданным темам с голосованием.
Литература
- Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
- Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
- Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии, 2013, 2 : 11-15.
- Bakhteev O.Y., Strijov V.V. Deep learning model selection of suboptimal complexity // Automation and Remote Control, 2018, 79(8) : 1474–1488.
- Bakhteev O.Y., Strijov V.V. Comprehensive analysis of gradient-based hyperparameter optimization algorithmss // Annals of Operations Research, 2020 : 1-15.
