Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020

Материал из MachineLearning.

Перейти к: навигация, поиск

Фундаментальные теоремы машинного обучения

Мотивация

  • Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
  • Подготовка сборника коллективом авторов.

Содержание

Темы лекций

  1. Теорема о сингулярном разложении Молер-Форсайт и другие разложения
  2. Метод главных компонент Рао и разложение Карунена-Лоэва
  3. Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
  4. Теорема о бесплатных обедах в машинном обучении, Волперт
  5. Метрические пространства: RKHS Аронжайн, теорема Мерсера
  6. Теорема схем, Холланд
  7. Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
  8. Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
  9. РАС-learning, теорема о том, что сжатие предполагает обучаемость
  10. Representer theorem, Schölkopf, Herbrich, and Smola
  11. Вариационная аппроксимация
  12. Сходимость про вероятности при выборе моделей
  13. Теорема о связи распределений в экспонентном семействе
  14. (? Теорема про бандитов)
  15. (? Копулы и теорема Скляра)
  16. The Gauss-Markov Theorem

Предлагаемый план изложения материала:

  1. Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
  2. Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
  3. Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
  4. Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему

Сылка на проект

Расписание лекций

Дата (можно менять, но согласовывать с другими) Тема Лектор Ссылки
19 февраля Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения
26 февраля Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях Марк Потанин
4 марта Берштейн - фон Мизес Андрей Грабовой
11 марта РАС обучаемость, теорема о том, что сжатие предполагает обучаемость Тамаз Гадаев
18 марта Теорема о бесплатных обедах в машинном обучении, Волперт Радослав Нейчев
25 марта Сходимость про вероятности при выборе моделей Марк Потанин
1 апреля Теорема схем, Холланд Радослав Нейчев
8 апреля Метрические пространства: RKHS Аронжайн, теорема Мерсера
15 апреля Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей Филипп Никитин
22 апреля Representer theorem, Schölkopf, Herbrich, and Smola
29 апреля Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) Филипп Никитин
6 мая Вариационная аппроксимация, теорема о байесовском выборе моделей Олег Бахтеев

Темы докладов

Источник: научные статьи последних лет. Продолжительность: 30 минут.

Цели:

  1. Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
  2. Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.

Рекомендации к стилю изложения:

  • дать основные определения этой области,
  • вводимые обозначения должны быть удобны и непротиворечивы,
  • используемые термины должны быть точны,
  • дать теоретические постановки задач,
  • желательно (!) привести теоретические примеры решения и его основные свойства,
  • представить математические методы,
  • привести примеры прикладных задач.

Тест 5-10 минут: докладчик готовит 5 вопросов, требующих краткий ответ на понимание и акцентирующих внимание на важных элементах доклада.

Не рекомендуется:

  • копипаста из статей, особенно бессмысленная,
  • увеличение объема материала за счет снижения качества,
  • использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.

Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).

  1. Байесовское программирование, проблемы и тренды (Салахутдинов)
  2. Онлайновое обучение, проблемы и новости
  3. Байесовские решающие деревья в задачах анализа текстов
  4. Порождающие модели (гетерогенные, Исаченко)
  5. Достижения и проблемы RL
  6. Active learning
  7. Привилегированное обучение
  8. Частичное обучение (Semi-supervised learning, Transductive learning)
  9. Косвенное обучение (Transfer learning)
  10. Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
  11. Атаки на сети: теоретический анализ

Расписание докладов

Дата (можно менять, но согласовывать с другими) Тема Докладчик Ссылки
19 февраля Достижения и проблемы RL Гришанов Алексей презентация
26 февраля Онлайновое обучение, новости и проблемы
4 марта Анализ апостериорного распределения в сетях глубокого обучения Аминов Тимур презентация
11 марта Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS Маркин Валерий Презентация Вопросы
18 марта Порождающие модели (гетерогенные, Исаченко) Садиев Абдурахмон Презентация Вопросы
25 марта Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон Григорьев Алексей презентация
1 апреля Частичное обучение (Semi-supervised learning, Transductive learning) Вареник Наталия презентация вопросы
8 апреля Косвенное обучение (Transfer learning) Северилов Павел презентация вопросы
15 апреля Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей Безносиков Александр Презентация Вопросы
22 апреля Active learning Юсупов Игорь презентация
29 апреля Атаки на сети: теоретический анализ Панченко Святослав Презентация к докладу

Вопросы

6 мая Байесовское программирование, проблемы и тренды (Салахутдинов)

Для справки

  • Оценивание 50 курс А.А., 25 теоремы, 18 доклад, 7 ответы на вопросы.
  • Короткий адрес страницы http://bit.ly/2U3ExKd
  • 29 апреля прездащита (слайды, текст), 20 мая зачет НИР, 10 июня предзащита, 24 июня защита бакалаврских работ
  • Основная статья

О защите дипломных работ

Структура введения

Структура презентации

Отзыв научного руководителя

Личные инструменты