Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020
Материал из MachineLearning.
(Различия между версиями)
(→Темы лекций) |
(→Темы докладов) |
||
Строка 126: | Строка 126: | ||
==Темы докладов== | ==Темы докладов== | ||
- | # | + | Источник: научные статьи последних лет. Продолжительность: 30 минут. |
- | + | ||
+ | Цели: | ||
+ | # Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме. | ||
+ | # Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач. | ||
+ | Рекомендации к стилю изложения: | ||
+ | * дать основные определения этой области, | ||
+ | * вводимые обозначения должны быть удобны и непротиворечивы, | ||
+ | * используемые термины должны быть точны, | ||
+ | * дать теоретические постановки задач, | ||
+ | * желательно (!) привести теоретические примеры решения и его основные свойства, | ||
+ | * представить математические методы, | ||
+ | * привести примеры прикладных задач. | ||
+ | Тест: готовит лектор, 5 вопросов, требующих краткий ответ на понимание. | ||
+ | |||
+ | Не рекомендуется: | ||
+ | * копипаста из статей, особенно бессмысленная, | ||
+ | * увеличение объема материала за счет снижения качества, | ||
+ | * использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства. | ||
+ | |||
+ | Principle of definitions, ССС: '''Correct, Complete, Concise''' (корректно, полно, сжато). | ||
+ | |||
+ | # Байесовское программирование, проблемы и тренды (Салахутдинов) | ||
# Онлайновое обучение | # Онлайновое обучение | ||
+ | # Байесовские решающие деревья в задачах анализа текстов | ||
+ | # Порождающие модели (гетерогенные, Исаченко) | ||
# Достижения и проблемы RL | # Достижения и проблемы RL | ||
+ | # Active learning | ||
# Привилегированное обучение | # Привилегированное обучение | ||
# Частичное обучение (Semi-supervised learning, Transductive learning) | # Частичное обучение (Semi-supervised learning, Transductive learning) | ||
# Косвенное обучение (Transfer learning) | # Косвенное обучение (Transfer learning) | ||
- | # Обучение словарей (Dictionary learning) | + | <!-- # Обучение словарей (Dictionary learning) --> |
- | # Задачи многоклассовой классификации с классами различной мощности | + | <!-- # Задачи многоклассовой классификации с классами различной мощности --> |
- | + | <!-- Функция ошибки в моделях глубокого обучения (и задача выбора моделей) --> | |
- | # Инварианты в задачах глубокого обучения | + | # Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей |
- | + | <!-- Выбор признаков в задачах квадратичной оптимизации --> | |
- | # Онлайновое обучение, | + | # Онлайновое обучение, проблемы и новости |
- | + | # Атаки на сети: теоретический анализ | |
== == | == == |
Версия 22:08, 11 февраля 2020
Фундаментальные теоремы машинного обучения Мотивация
- Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
- Подготовка сборника коллективом авторов.
Содержание |
Темы лекций
- Теорема о сингулярном разложении Молер-Форсайт и другие разложения
- Метод главных компонент Рао и разложение Карунена-Лоэва
- Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
- Теорема о бесплатных обедах в машинном обучении, Волперт
- Метрические пространства: RKHS Аронжайн, теорема Мерсера
- Теорема схем, Холланд
- Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
- Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
- РАС-learning, теорема о том, что сжатие предполагает обучаемость
- Representer theorem, Schölkopf, Herbrich, and Smola
- Вариационная аппроксимация
- Сходимость про вероятности при выборе моделей
- Теорема о связи распределений в экспонентном семействе
- (? Теорема про бандитов)
- (? Копулы и теорема Скляра)
Предлагаемый план изложения материала:
- Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
- Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
- Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
- Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему
Сылка на проект
Расписание лекций
Дата (можно менять, но согласовывать с другими) | Тема | Лектор | Докладчик | Ссылки |
---|---|---|---|---|
19 февраля | Теорема о сингулярном разложении Молер-Форсайт и другие разложения | Роман Исаченко | ||
26 февраля | Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | Марк Потанин | ||
4 марта | Обобщенно-линейные модели теорема о связи распределений в экспонентном семействе | Андрей Грабовой | ||
11 марта | РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | Тамаз Гадаев | ||
18 марта | Теорема о бесплатных обедах в машинном обучении, Волперт | Радослав Нейчев | ||
25 марта | Сходимость про вероятности при выборе моделей | Марк Потанин | ||
1 апреля | Теорема схем, Холланд | Радослав Нейчев | ||
8 апреля | Метрические пространства: RKHS Аронжайн, теорема Мерсера | Алексей Гончаров | ||
15 апреля | Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | Филипп Никитин | ||
22 апреля | Representer theorem, Schölkopf, Herbrich, and Smola | |||
29 апреля | Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | Филипп Никитин | ||
6 мая | Вариационная аппроксимация, теорема о байесовском выборе моделей | Олег Бахтеев |
Темы докладов
Источник: научные статьи последних лет. Продолжительность: 30 минут.
Цели:
- Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
- Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.
Рекомендации к стилю изложения:
- дать основные определения этой области,
- вводимые обозначения должны быть удобны и непротиворечивы,
- используемые термины должны быть точны,
- дать теоретические постановки задач,
- желательно (!) привести теоретические примеры решения и его основные свойства,
- представить математические методы,
- привести примеры прикладных задач.
Тест: готовит лектор, 5 вопросов, требующих краткий ответ на понимание.
Не рекомендуется:
- копипаста из статей, особенно бессмысленная,
- увеличение объема материала за счет снижения качества,
- использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.
Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).
- Байесовское программирование, проблемы и тренды (Салахутдинов)
- Онлайновое обучение
- Байесовские решающие деревья в задачах анализа текстов
- Порождающие модели (гетерогенные, Исаченко)
- Достижения и проблемы RL
- Active learning
- Привилегированное обучение
- Частичное обучение (Semi-supervised learning, Transductive learning)
- Косвенное обучение (Transfer learning)
- Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
- Онлайновое обучение, проблемы и новости
- Атаки на сети: теоретический анализ
- Короткий адрес страницы http://bit.ly/2U3ExKd
- Основная статья