Выбор моделей в машинном обучении (теория и практика, О.Ю. Бахтеев, В.В. Стрижов)/Группа 574, осень 2020

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Текущая версия (11:29, 16 декабря 2020) (править) (отменить)
(Расписание)
 
(38 промежуточных версий не показаны.)
Строка 2: Строка 2:
__NOTOC__
__NOTOC__
-
Серия семинаров и докладов на тему выбора моделей машинного обучения. Обсуждаются теоретические аспекты и практика байесовского подхода к выбору моделей. Цель семинаров - обсудить роль информативного априорного распределения (informative prior). Основные вопросы:
+
https://us04web.zoom.us/j/71655633948?pwd=QnRCNFRnTDZiaWt5dVhPRFp1cS9YUT09 занятие в среду 9 сентября в 10:30
 +
 
 +
Серия семинаров и докладов на тему выбора моделей машинного обучения. Обсуждаются теоретические аспекты и практика байесовского подхода к выбору моделей. Цель семинаров - обсудить роль априорной информации (информативного априорного распределения, informative prior) в методах выбора интерпретируемых моделей с заданными свойствами. Основные вопросы:
# Как учитывать экспертные знания при назначении АР (постановка задач байесовского выбора моделей)?
# Как учитывать экспертные знания при назначении АР (постановка задач байесовского выбора моделей)?
# Каким образом связаны теоретические модели прикладной области с информативным АР (интерпретируемость моделей с точки зрения теории)?
# Каким образом связаны теоретические модели прикладной области с информативным АР (интерпретируемость моделей с точки зрения теории)?
# Как использовать новую информацию, полученную в результате вывода, при дальнейшем назначении АР (непрерывное обучение)?
# Как использовать новую информацию, полученную в результате вывода, при дальнейшем назначении АР (непрерывное обучение)?
 +
 +
Короткий адрес страницы [http://bit.ly/IS_prior bit.ly/IS_prior], {{Важно|таблица для}} [https://docs.google.com/spreadsheets/d/1rLHOC-zpgHsF8Uja1IiB1ybxnO67gSL0mWgSq7_28-Q/edit?usp=sharing редактирования]
Курс - это cерия семинаров c разбором задач и теоретических новинок с прикладной составляющей (систематизация без популяризации).
Курс - это cерия семинаров c разбором задач и теоретических новинок с прикладной составляющей (систематизация без популяризации).
Строка 11: Строка 15:
На каждом семинаре повышается квалификация докладчика:
На каждом семинаре повышается квалификация докладчика:
* способность систематизировать теоретические работы и представить в виде единого ясного непротиворечивого сообщения,
* способность систематизировать теоретические работы и представить в виде единого ясного непротиворечивого сообщения,
-
* способность увидеть в прикладной задаче систематическую формальную постановку, которая приведет к быстрому качественному решению коммерческого проекта (в отличие от неформальной, при которой программисты работают с черными ящиками и решают проблему исходя не из алгебраической и статистической постановки задачи, а из доступного инструментария). Основная ошибка при подготовке к лекциям - сам разобрался недостаточно подробно и скопировал материал статьи.
+
* способность увидеть в прикладной задаче систематическую формальную постановку, которая приведет к быстрому качественному решению коммерческого проекта (в отличие от неформальной, при которой программисты работают с черными ящиками и решают проблему исходя не из алгебраической и статистической постановки задачи, а из доступного инструментария). Основная ошибка при подготовке к лекциям - сам '''разобрался недостаточно подробно и скопировал материал статьи'''. Опорных статей доблжно быть несколько. На них следует ссылаться внутри слайдов и в конце доклада.
Требования к семинарам, теория
Требования к семинарам, теория
Строка 27: Строка 31:
# Примеры прикладной задачи
# Примеры прикладной задачи
# Неформальная постановка задачи
# Неформальная постановка задачи
-
# Формальная постановка (в рекомендуемых обозначениях Кузнецов-Катруца-Мотренко-Адуенко TODO ссылки) в которой есть
+
# Формальная постановка (в рекомендуемых обозначениях Кузнецов-Катруца-Мотренко-Адуенко-Бахтеев TODO ссылки) в которой есть
#* алгебраические структуры на данных
#* алгебраические структуры на данных
#* гипотезы порождения данных
#* гипотезы порождения данных
Строка 59: Строка 63:
|-
|-
! Дата
! Дата
-
! Автор
 
! Тема
! Тема
-
!
+
! Тема
-
! Автор
+
! Тема
! Тема
|-
|-
|16
|16
-
|
+
|Стрижов, Мотивация курса
-
|
+
-
||
+
|
|
|
|
|-
|-
|23
|23
-
|
+
|Бахтеев, Критический анализ методов выбора моделей
-
|
+
|Грабовой Message passing
-
||
+
|Моргачев, [https://drive.google.com/file/d/1SLk269rqmzq-dpj37jO6F0OIwkaYoXku/view?usp=sharing Приложения Muiti-Head attention]
-
|
+
-
|
+
|-
|-
|30
|30
 +
|[[Media:Grabovoy2020PrivilegeLecture.pdf|Грабовой, Привилегированное обучение и дистилляция моделей]]
|
|
-
|
+
|Новицкий, [https://drive.google.com/file/d/1heZkd_eAlWU9KxtQezlIrtNdxQ_ML7g9/view?usp=sharing GAN для решения задач ATLAS]
-
||
+
-
|
+
-
|
+
|-
|-
|7 октября
|7 октября
-
|
+
|[[Media:Grabovoy2020ExpertLearningLecture.pdf|Грабовой, Стрижов, Обучение экспертов]]
-
|
+
-
||
+
|
|
|
|
|-
|-
|14
|14
-
|
+
|Нейчев, Построение информативных априорных моделей в задачах привилегированного обучения
-
|
+
|Моргачев, [https://drive.google.com/file/d/1I43zXRG23gkrJs2qhPnCpszAB9_vbKyr/view?usp=sharing Обзор обзоров GCNN]
-
||
+
|Самохина, [http://bit.ly/3akkq2v Generalization in Deep Reinforcement Learning и приложения]
-
|
+
-
|
+
|-
|-
|21
|21
-
|
+
|Потанин, Автоэнкодеры для порождения моделей
-
|
+
-
||
+
|
|
|
|
|-
|-
|28
|28
-
|
+
|Адуенко, Байесовский подход к теоретико-игровым задачам
-
|
+
|Плетнев, [https://github.com/NikitaOmsk/ChoiceModel/blob/main/flows.pdf Flows for manifold learning и приложения в моделировании]
-
||
+
|[[Media:Grabovoy2020BertLecture.pdf|Грабовой, BERT - теория и анализ свойств с прилоожениями]]
-
|
+
-
|
+
|-
|-
|4 ноября
|4 ноября
|
|
-
|
 
-
||
 
|
|
|
|
|-
|-
|11
|11
-
|
+
|Бахтеев, [https://github.com/bahleg/tex_slides/blob/master/sen_20/slides_bpl.pdf Байесовское программирование Руслана Салахутдинова - что было и чем закончилось]
-
|
+
|Плетнев, [https://github.com/NikitaOmsk/ChoiceModel/blob/main/flows__theory_.pdf Авторегрессионные потоки и VAR]
-
||
+
|Самохина, [http://bit.ly/388ayWP Self-Attention и априорные знания]
-
|
+
-
|
+
|-
|-
|18
|18
-
|
+
|Исаченко, Стрижов, Априорные предположения при множественном прогнозе PLS
-
|
+
|Новицкий, [https://drive.google.com/file/d/12JWZvJecsD0WnpetMtifUw_KCUHmSr4p/view?usp=sharing Проблемы и развитие GAN]
-
||
+
-
|
+
|
|
|-
|-
|25
|25
-
|
+
|Никитин, генерация графов
-
|
+
|Кириллов, [https://drive.google.com/file/d/1fzil5r0TjfeRmEo11X2Mt3-nacb9Ebmk/view?usp=sharing Алгоритм Герхберга-Сакстона и его вариации]
-
||
+
|Гадаев, [https://drive.google.com/file/d/1tt1-4RCnDE1lk3-fW9LGy3UpN9SjFFZA/view?usp=sharing Spherical Convolutions and SO(3) Equivariance]
-
|
+
-
|
+
|-
|-
|2 декабря
|2 декабря
|
|
-
|
+
|Кислинский [https://drive.google.com/file/d/1jrhQsDuE_Rjwd4Rq5-WsVCoeh9j_Di9f/view?usp=sharing Самообучение]
-
||
+
-
|
+
|
|
|-
|-
|9
|9
 +
|Стрижов, Что думает научное сообщество про учет теорий при построении моделей
 +
|Кириллов, [https://drive.google.com/file/d/1fzil5r0TjfeRmEo11X2Mt3-nacb9Ebmk/view?usp=sharing Байесовский подход к определению структуры в криоэлектронной микроскопии]
|
|
 +
|-
 +
|16
|
|
-
||
+
|Кислинский [https://drive.google.com/file/d/1bQnh9myzbx3zoNkYTEEPZDYiZ891Eveb/view?usp=sharing Нейронные дифференциальные уравнения]
-
|
+
|Гадаев [https://docs.google.com/presentation/d/1LAqbz9dv8F40dVBRKwfvJEN2Ph9VlKVFWOLfmV3RBKA/edit?usp=sharing Фильтр Калмана]
-
|
+
|-
|-
|}
|}
=== Зачеты ===
=== Зачеты ===
-
* По семинарам: анкеты каждую неделю и задачи в конце.
+
* По семинарам: присутствие на семинарах и собеседование в конце, [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 474, весна 2018|вопросы]].
-
* По практике: две лекции на 49 минут по заданным темам с голосованием.
+
* По практике: две лекции на 40 минут по заданным темам с голосованием.
=== Литература ===
=== Литература ===

Текущая версия


https://us04web.zoom.us/j/71655633948?pwd=QnRCNFRnTDZiaWt5dVhPRFp1cS9YUT09 занятие в среду 9 сентября в 10:30

Серия семинаров и докладов на тему выбора моделей машинного обучения. Обсуждаются теоретические аспекты и практика байесовского подхода к выбору моделей. Цель семинаров - обсудить роль априорной информации (информативного априорного распределения, informative prior) в методах выбора интерпретируемых моделей с заданными свойствами. Основные вопросы:

  1. Как учитывать экспертные знания при назначении АР (постановка задач байесовского выбора моделей)?
  2. Каким образом связаны теоретические модели прикладной области с информативным АР (интерпретируемость моделей с точки зрения теории)?
  3. Как использовать новую информацию, полученную в результате вывода, при дальнейшем назначении АР (непрерывное обучение)?

Короткий адрес страницы bit.ly/IS_prior, таблица для редактирования

Курс - это cерия семинаров c разбором задач и теоретических новинок с прикладной составляющей (систематизация без популяризации).

Цель быть понятным, когда речь идет о сложных вопросах


На каждом семинаре повышается квалификация докладчика:

  • способность систематизировать теоретические работы и представить в виде единого ясного непротиворечивого сообщения,
  • способность увидеть в прикладной задаче систематическую формальную постановку, которая приведет к быстрому качественному решению коммерческого проекта (в отличие от неформальной, при которой программисты работают с черными ящиками и решают проблему исходя не из алгебраической и статистической постановки задачи, а из доступного инструментария). Основная ошибка при подготовке к лекциям - сам разобрался недостаточно подробно и скопировал материал статьи. Опорных статей доблжно быть несколько. На них следует ссылаться внутри слайдов и в конце доклада.

Требования к семинарам, теория

  1. Единая нотация
  2. Решаемая проблема
  3. Основные положения, гипотезы
  4. Решение
  5. Свойства и ограничения решения
  6. Альтернативные решения
  7. Теоретическая значимость
  8. Применение на практике
Понимать технологическую новость как будто сам сделал этот проект


Требования к семинарам, практика

  1. Примеры прикладной задачи
  2. Неформальная постановка задачи
  3. Формальная постановка (в рекомендуемых обозначениях Кузнецов-Катруца-Мотренко-Адуенко-Бахтеев TODO ссылки) в которой есть
    • алгебраические структуры на данных
    • гипотезы порождения данных
    • функции ошибки
  4. Возможные детали:
    • виды моделей, выбор моделей, методы оптимизации
    • инструменты для прораммирования


Темы семинаров

  1. Байесовский вывод (повторение).
  2. Вариационный вывод, семплирование, VAR, GAN (повторение)
  3. Оптимизация структур моделей и распределения структурных параметров
  4. Смеси моделей, смеси экспертов и их применение
  5. Прямое, обратное преобразование Фурье, его аппроксимация и АР
  6. Спектральная теория графов и АР
  7. Применение байесовских методов в биологии и в EM, SRF микроскопии
  8. Применение байесовских методов в теоретической физике
  9. Экспертное обучение и способы назначения априорных распределений
  10. GAN и порождение структур агностических моделей
  11. Байесовский подход в теории игр и задачи ИИ
  12. Байесовское программирование и задачи порождения рукописных текстов
  13. Необходимый размер выборки и его приложения в обучении с подкреплением

Темы на выбор

Указать в таблице одну из тем:

Расписание

Дата Тема Тема Тема
16 Стрижов, Мотивация курса
23 Бахтеев, Критический анализ методов выбора моделей Грабовой Message passing Моргачев, Приложения Muiti-Head attention
30 Грабовой, Привилегированное обучение и дистилляция моделей Новицкий, GAN для решения задач ATLAS
7 октября Грабовой, Стрижов, Обучение экспертов
14 Нейчев, Построение информативных априорных моделей в задачах привилегированного обучения Моргачев, Обзор обзоров GCNN Самохина, Generalization in Deep Reinforcement Learning и приложения
21 Потанин, Автоэнкодеры для порождения моделей
28 Адуенко, Байесовский подход к теоретико-игровым задачам Плетнев, Flows for manifold learning и приложения в моделировании Грабовой, BERT - теория и анализ свойств с прилоожениями
4 ноября
11 Бахтеев, Байесовское программирование Руслана Салахутдинова - что было и чем закончилось Плетнев, Авторегрессионные потоки и VAR Самохина, Self-Attention и априорные знания
18 Исаченко, Стрижов, Априорные предположения при множественном прогнозе PLS Новицкий, Проблемы и развитие GAN
25 Никитин, генерация графов Кириллов, Алгоритм Герхберга-Сакстона и его вариации Гадаев, Spherical Convolutions and SO(3) Equivariance
2 декабря Кислинский Самообучение
9 Стрижов, Что думает научное сообщество про учет теорий при построении моделей Кириллов, Байесовский подход к определению структуры в криоэлектронной микроскопии
16 Кислинский Нейронные дифференциальные уравнения Гадаев Фильтр Калмана

Зачеты

  • По семинарам: присутствие на семинарах и собеседование в конце, вопросы.
  • По практике: две лекции на 40 минут по заданным темам с голосованием.

Литература

  1. Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
  2. Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
  3. Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии, 2013, 2 : 11-15.
  4. Bakhteev O.Y., Strijov V.V. Deep learning model selection of suboptimal complexity // Automation and Remote Control, 2018, 79(8) : 1474–1488.
  5. Bakhteev O.Y., Strijov V.V. Comprehensive analysis of gradient-based hyperparameter optimization algorithmss // Annals of Operations Research, 2020 : 1-15.
Личные инструменты