Выбор моделей в машинном обучении (теория и практика, О.Ю. Бахтеев, В.В. Стрижов)/Группа 574, осень 2020

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 6: Строка 6:
# Каким образом связаны теоретические модели прикладной области с информативным АР (интерпретируемость моделей с точки зрения теории)?
# Каким образом связаны теоретические модели прикладной области с информативным АР (интерпретируемость моделей с точки зрения теории)?
# Как использовать новую информацию, полученную в результате вывода, при дальнейшем назначении АР (непрерывное обучение)?
# Как использовать новую информацию, полученную в результате вывода, при дальнейшем назначении АР (непрерывное обучение)?
 +
 +
Курс - это cерия семинаров c разбором задач и теоретических новинок с прикладной составляющей (систематизация без популяризации).
 +
{{tip|Цель быть понятным, когда речь идет о сложных вопросах}}
 +
На каждом семинаре повышается квалификация докладчика:
 +
* способность систематизировать теоретические работы и представить в виде единого ясного непротиворечивого сообщения,
 +
* способность увидеть в прикладной задаче систематическую формальную постановку, которая приведет к быстрому качественному решению коммерческого проекта (в отличие от неформальной, при которой программисты работают с черными ящиками и решают проблему исходя не из алгебраической и статистической постановки задачи, а из доступного инструментария). Основная ошибка при подготовке к лекциям - сам разобрался недостаточно подробно и скопировал материал статьи.
 +
 +
Требования к семинарам, теория
 +
# Единая нотация
 +
# Решаемая проблема
 +
# Основные положения, гипотезы
 +
# Решение
 +
# Свойства и ограничения решения
 +
# Альтернативные решения
 +
# Теоретическая значимость
 +
# Применение на практике
 +
{{tip|Понимать технологическую новость как будто сам сделал этот проект}}
 +
 +
Требования к семинарам, практика
 +
# Примеры прикладной задачи
 +
# Неформальная постановка задачи
 +
# Формальная постановка (в рекомендуемых обозначениях Кузнецов-Катруца-Мотренко-Адуенко TODO ссылки) в которой есть
 +
#* алгебраические структуры на данных
 +
#* гипотезы порождения данных
 +
#* функции ошибки
 +
# Возможные детали:
 +
#* виды моделей, выбор моделей, методы оптимизации
 +
#* инструменты для прораммирования
 +
 +
=== Темы семинаров ===
=== Темы семинаров ===

Версия 20:07, 2 сентября 2020


Серия семинаров и докладов на тему выбора моделей машинного обучения. Обсуждаются теоретические аспекты и практика байесовского подхода к выбору моделей. Цель семинаров - обсудить роль информативного априорного распределения (informative prior). Основные вопросы:

  1. Как учитывать экспертные знания при назначении АР (постановка задач байесовского выбора моделей)?
  2. Каким образом связаны теоретические модели прикладной области с информативным АР (интерпретируемость моделей с точки зрения теории)?
  3. Как использовать новую информацию, полученную в результате вывода, при дальнейшем назначении АР (непрерывное обучение)?

Курс - это cерия семинаров c разбором задач и теоретических новинок с прикладной составляющей (систематизация без популяризации).

Цель быть понятным, когда речь идет о сложных вопросах


На каждом семинаре повышается квалификация докладчика:

  • способность систематизировать теоретические работы и представить в виде единого ясного непротиворечивого сообщения,
  • способность увидеть в прикладной задаче систематическую формальную постановку, которая приведет к быстрому качественному решению коммерческого проекта (в отличие от неформальной, при которой программисты работают с черными ящиками и решают проблему исходя не из алгебраической и статистической постановки задачи, а из доступного инструментария). Основная ошибка при подготовке к лекциям - сам разобрался недостаточно подробно и скопировал материал статьи.

Требования к семинарам, теория

  1. Единая нотация
  2. Решаемая проблема
  3. Основные положения, гипотезы
  4. Решение
  5. Свойства и ограничения решения
  6. Альтернативные решения
  7. Теоретическая значимость
  8. Применение на практике
Понимать технологическую новость как будто сам сделал этот проект


Требования к семинарам, практика

  1. Примеры прикладной задачи
  2. Неформальная постановка задачи
  3. Формальная постановка (в рекомендуемых обозначениях Кузнецов-Катруца-Мотренко-Адуенко TODO ссылки) в которой есть
    • алгебраические структуры на данных
    • гипотезы порождения данных
    • функции ошибки
  4. Возможные детали:
    • виды моделей, выбор моделей, методы оптимизации
    • инструменты для прораммирования


Темы семинаров

  1. Байесовский вывод (повторение).
  2. Вариационный вывод, семплирование, VAR, GAN (повторение)
  3. Оптимизация структур моделей и распределения структурных параметров
  4. Смеси моделей, смеси экспертов и их применение
  5. Прямое, обратное преобразование Фурье, его аппроксимация и АР
  6. Спектральная теория графов и АР
  7. Применение байесовских методов в биологии и в EM, SRF микроскопии
  8. Применение байесовских методов в теоретической физике
  9. Экспертное обучение и способы назначения априорных распределений
  10. GAN и порождение структур агностических моделей
  11. Байесовский подход в теории игр и задачи ИИ
  12. Байесовское программирование и задачи порождения рукописных текстов
  13. Необходимый размер выборки и его приложения в обучении с подкреплением

Темы на выбор

Указать в таблице одну из тем:

Расписание

Дата Автор Тема Автор Тема
16
23
30
7 октября
14
21
28
4 ноября
11
18
25
2 декабря
9

Зачеты

  • По семинарам: анкеты каждую неделю и задачи в конце.
  • По практике: две лекции на 49 минут по заданным темам с голосованием.

Литература

  1. Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
  2. Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
  3. Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии, 2013, 2 : 11-15.
  4. Bakhteev O.Y., Strijov V.V. Deep learning model selection of suboptimal complexity // Automation and Remote Control, 2018, 79(8) : 1474–1488.
  5. Bakhteev O.Y., Strijov V.V. Comprehensive analysis of gradient-based hyperparameter optimization algorithmss // Annals of Operations Research, 2020 : 1-15.
Личные инструменты