Выбор моделей в машинном обучении (теория и практика, О.Ю. Бахтеев, В.В. Стрижов)/Группа 574, осень 2020
Материал из MachineLearning.
(Различия между версиями)
(→Расписание) |
|||
| (24 промежуточные версии не показаны) | |||
| Строка 63: | Строка 63: | ||
|- | |- | ||
! Дата | ! Дата | ||
| - | |||
! Тема | ! Тема | ||
| - | ! | + | ! Тема |
| - | + | ||
! Тема | ! Тема | ||
|- | |- | ||
|16 | |16 | ||
| - | | | + | |Стрижов, Мотивация курса |
| - | + | ||
| - | + | ||
| | | | ||
| | | | ||
|- | |- | ||
|23 | |23 | ||
| - | | | + | |Бахтеев, Критический анализ методов выбора моделей |
| - | | | + | |Грабовой Message passing |
| - | | | + | |Моргачев, [https://drive.google.com/file/d/1SLk269rqmzq-dpj37jO6F0OIwkaYoXku/view?usp=sharing Приложения Muiti-Head attention] |
| - | + | ||
| - | + | ||
|- | |- | ||
|30 | |30 | ||
| + | |[[Media:Grabovoy2020PrivilegeLecture.pdf|Грабовой, Привилегированное обучение и дистилляция моделей]] | ||
| | | | ||
| - | | | + | |Новицкий, [https://drive.google.com/file/d/1heZkd_eAlWU9KxtQezlIrtNdxQ_ML7g9/view?usp=sharing GAN для решения задач ATLAS] |
| - | + | ||
| - | + | ||
| - | + | ||
|- | |- | ||
|7 октября | |7 октября | ||
| - | | | + | |[[Media:Grabovoy2020ExpertLearningLecture.pdf|Грабовой, Стрижов, Обучение экспертов]] |
| - | + | ||
| - | + | ||
| | | | ||
| | | | ||
|- | |- | ||
|14 | |14 | ||
| - | | | + | |Нейчев, Построение информативных априорных моделей в задачах привилегированного обучения |
| - | | | + | |Моргачев, [https://drive.google.com/file/d/1I43zXRG23gkrJs2qhPnCpszAB9_vbKyr/view?usp=sharing Обзор обзоров GCNN] |
| - | | | + | |Самохина, [http://bit.ly/3akkq2v Generalization in Deep Reinforcement Learning и приложения] |
| - | + | ||
| - | + | ||
|- | |- | ||
|21 | |21 | ||
| - | | | + | |Потанин, Автоэнкодеры для порождения моделей |
| - | + | ||
| - | + | ||
| | | | ||
| | | | ||
|- | |- | ||
|28 | |28 | ||
| - | | | + | |Адуенко, Байесовский подход к теоретико-игровым задачам |
| - | | | + | |Плетнев, [https://github.com/NikitaOmsk/ChoiceModel/blob/main/flows.pdf Flows for manifold learning и приложения в моделировании] |
| - | || | + | |[[Media:Grabovoy2020BertLecture.pdf|Грабовой, BERT - теория и анализ свойств с прилоожениями]] |
| - | + | ||
| - | + | ||
|- | |- | ||
|4 ноября | |4 ноября | ||
| | | | ||
| - | |||
| - | |||
| | | | ||
| | | | ||
|- | |- | ||
|11 | |11 | ||
| - | | | + | |Бахтеев, [https://github.com/bahleg/tex_slides/blob/master/sen_20/slides_bpl.pdf Байесовское программирование Руслана Салахутдинова - что было и чем закончилось] |
| - | | | + | |Плетнев, [https://github.com/NikitaOmsk/ChoiceModel/blob/main/flows__theory_.pdf Авторегрессионные потоки и VAR] |
| - | | | + | |Самохина, [http://bit.ly/388ayWP Self-Attention и априорные знания] |
| - | + | ||
| - | + | ||
|- | |- | ||
|18 | |18 | ||
| - | | | + | |Исаченко, Стрижов, Априорные предположения при множественном прогнозе PLS |
| - | | | + | |Новицкий, [https://drive.google.com/file/d/12JWZvJecsD0WnpetMtifUw_KCUHmSr4p/view?usp=sharing Проблемы и развитие GAN] |
| - | + | ||
| - | + | ||
| | | | ||
|- | |- | ||
|25 | |25 | ||
| - | | | + | |Никитин, генерация графов |
| - | | | + | |Кириллов, [https://drive.google.com/file/d/1fzil5r0TjfeRmEo11X2Mt3-nacb9Ebmk/view?usp=sharing Алгоритм Герхберга-Сакстона и его вариации] |
| - | | | + | |Гадаев, [https://drive.google.com/file/d/1tt1-4RCnDE1lk3-fW9LGy3UpN9SjFFZA/view?usp=sharing Spherical Convolutions and SO(3) Equivariance] |
| - | + | ||
| - | + | ||
|- | |- | ||
|2 декабря | |2 декабря | ||
| | | | ||
| - | | | + | |Кислинский [https://drive.google.com/file/d/1jrhQsDuE_Rjwd4Rq5-WsVCoeh9j_Di9f/view?usp=sharing Самообучение] |
| - | + | ||
| - | + | ||
| | | | ||
|- | |- | ||
|9 | |9 | ||
| + | |Стрижов, Что думает научное сообщество про учет теорий при построении моделей | ||
| + | |Кириллов, [https://drive.google.com/file/d/1fzil5r0TjfeRmEo11X2Mt3-nacb9Ebmk/view?usp=sharing Байесовский подход к определению структуры в криоэлектронной микроскопии] | ||
| | | | ||
| + | |- | ||
| + | |16 | ||
| | | | ||
| - | | | + | |Кислинский [https://drive.google.com/file/d/1bQnh9myzbx3zoNkYTEEPZDYiZ891Eveb/view?usp=sharing Нейронные дифференциальные уравнения] |
| - | + | |Гадаев [https://docs.google.com/presentation/d/1LAqbz9dv8F40dVBRKwfvJEN2Ph9VlKVFWOLfmV3RBKA/edit?usp=sharing Фильтр Калмана] | |
| - | | | + | |
|- | |- | ||
|} | |} | ||
=== Зачеты === | === Зачеты === | ||
| - | * По семинарам: | + | * По семинарам: присутствие на семинарах и собеседование в конце, [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 474, весна 2018|вопросы]]. |
* По практике: две лекции на 40 минут по заданным темам с голосованием. | * По практике: две лекции на 40 минут по заданным темам с голосованием. | ||
Текущая версия
https://us04web.zoom.us/j/71655633948?pwd=QnRCNFRnTDZiaWt5dVhPRFp1cS9YUT09 занятие в среду 9 сентября в 10:30
Серия семинаров и докладов на тему выбора моделей машинного обучения. Обсуждаются теоретические аспекты и практика байесовского подхода к выбору моделей. Цель семинаров - обсудить роль априорной информации (информативного априорного распределения, informative prior) в методах выбора интерпретируемых моделей с заданными свойствами. Основные вопросы:
- Как учитывать экспертные знания при назначении АР (постановка задач байесовского выбора моделей)?
- Каким образом связаны теоретические модели прикладной области с информативным АР (интерпретируемость моделей с точки зрения теории)?
- Как использовать новую информацию, полученную в результате вывода, при дальнейшем назначении АР (непрерывное обучение)?
Короткий адрес страницы bit.ly/IS_prior, таблица для редактирования
Курс - это cерия семинаров c разбором задач и теоретических новинок с прикладной составляющей (систематизация без популяризации).
| Цель быть понятным, когда речь идет о сложных вопросах |
На каждом семинаре повышается квалификация докладчика:
- способность систематизировать теоретические работы и представить в виде единого ясного непротиворечивого сообщения,
- способность увидеть в прикладной задаче систематическую формальную постановку, которая приведет к быстрому качественному решению коммерческого проекта (в отличие от неформальной, при которой программисты работают с черными ящиками и решают проблему исходя не из алгебраической и статистической постановки задачи, а из доступного инструментария). Основная ошибка при подготовке к лекциям - сам разобрался недостаточно подробно и скопировал материал статьи. Опорных статей доблжно быть несколько. На них следует ссылаться внутри слайдов и в конце доклада.
Требования к семинарам, теория
- Единая нотация
- Решаемая проблема
- Основные положения, гипотезы
- Решение
- Свойства и ограничения решения
- Альтернативные решения
- Теоретическая значимость
- Применение на практике
|
| Понимать технологическую новость как будто сам сделал этот проект |
Требования к семинарам, практика
- Примеры прикладной задачи
- Неформальная постановка задачи
- Формальная постановка (в рекомендуемых обозначениях Кузнецов-Катруца-Мотренко-Адуенко-Бахтеев TODO ссылки) в которой есть
- алгебраические структуры на данных
- гипотезы порождения данных
- функции ошибки
- Возможные детали:
- виды моделей, выбор моделей, методы оптимизации
- инструменты для прораммирования
Темы семинаров
- Байесовский вывод (повторение).
- Вариационный вывод, семплирование, VAR, GAN (повторение)
- Оптимизация структур моделей и распределения структурных параметров
- Смеси моделей, смеси экспертов и их применение
- Прямое, обратное преобразование Фурье, его аппроксимация и АР
- Спектральная теория графов и АР
- Применение байесовских методов в биологии и в EM, SRF микроскопии
- Применение байесовских методов в теоретической физике
- Экспертное обучение и способы назначения априорных распределений
- GAN и порождение структур агностических моделей
- Байесовский подход в теории игр и задачи ИИ
- Байесовское программирование и задачи порождения рукописных текстов
- Необходимый размер выборки и его приложения в обучении с подкреплением
Темы на выбор
Указать в таблице одну из тем:
Расписание
Зачеты
- По семинарам: присутствие на семинарах и собеседование в конце, вопросы.
- По практике: две лекции на 40 минут по заданным темам с голосованием.
Литература
- Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
- Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
- Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии, 2013, 2 : 11-15.
- Bakhteev O.Y., Strijov V.V. Deep learning model selection of suboptimal complexity // Automation and Remote Control, 2018, 79(8) : 1474–1488.
- Bakhteev O.Y., Strijov V.V. Comprehensive analysis of gradient-based hyperparameter optimization algorithmss // Annals of Operations Research, 2020 : 1-15.
