Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020
Материал из MachineLearning.
(Различия между версиями)
(→Темы докладов) |
(→Расписание лекций) |
||
Строка 49: | Строка 49: | ||
! Тема | ! Тема | ||
! Лектор | ! Лектор | ||
- | |||
! Ссылки | ! Ссылки | ||
|- | |- | ||
Строка 55: | Строка 54: | ||
| Теорема о сингулярном разложении Молер-Форсайт и другие разложения | | Теорема о сингулярном разложении Молер-Форсайт и другие разложения | ||
| Роман Исаченко | | Роман Исаченко | ||
- | |||
| | | | ||
|- | |- | ||
Строка 61: | Строка 59: | ||
| Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | | Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | ||
| Марк Потанин | | Марк Потанин | ||
- | |||
| | | | ||
|- | |- | ||
Строка 68: | Строка 65: | ||
| Андрей Грабовой | | Андрей Грабовой | ||
| | | | ||
- | |||
|- | |- | ||
| 11 марта | | 11 марта | ||
| РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | | РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | ||
| Тамаз Гадаев | | Тамаз Гадаев | ||
- | |||
| | | | ||
|- | |- | ||
Строка 79: | Строка 74: | ||
| Теорема о бесплатных обедах в машинном обучении, Волперт | | Теорема о бесплатных обедах в машинном обучении, Волперт | ||
| Радослав Нейчев | | Радослав Нейчев | ||
- | |||
| | | | ||
|- | |- | ||
Строка 85: | Строка 79: | ||
| Сходимость про вероятности при выборе моделей | | Сходимость про вероятности при выборе моделей | ||
| Марк Потанин | | Марк Потанин | ||
- | |||
| | | | ||
|- | |- | ||
Строка 91: | Строка 84: | ||
| Теорема схем, Холланд | | Теорема схем, Холланд | ||
| Радослав Нейчев | | Радослав Нейчев | ||
- | |||
| | | | ||
|- | |- | ||
Строка 97: | Строка 89: | ||
|Метрические пространства: RKHS Аронжайн, теорема Мерсера | |Метрические пространства: RKHS Аронжайн, теорема Мерсера | ||
| Алексей Гончаров | | Алексей Гончаров | ||
- | |||
| | | | ||
|- | |- | ||
Строка 103: | Строка 94: | ||
| Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | | Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | ||
| Филипп Никитин | | Филипп Никитин | ||
- | |||
| | | | ||
|- | |- | ||
| 22 апреля | | 22 апреля | ||
| Representer theorem, Schölkopf, Herbrich, and Smola | | Representer theorem, Schölkopf, Herbrich, and Smola | ||
- | |||
| | | | ||
| | | | ||
Строка 115: | Строка 104: | ||
| Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | | Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | ||
| Филипп Никитин | | Филипп Никитин | ||
- | |||
| | | | ||
|- | |- | ||
Строка 121: | Строка 109: | ||
| Вариационная аппроксимация, теорема о байесовском выборе моделей | | Вариационная аппроксимация, теорема о байесовском выборе моделей | ||
| Олег Бахтеев | | Олег Бахтеев | ||
- | |||
| | | | ||
|} | |} |
Версия 22:09, 11 февраля 2020
Фундаментальные теоремы машинного обучения Мотивация
- Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
- Подготовка сборника коллективом авторов.
Содержание |
Темы лекций
- Теорема о сингулярном разложении Молер-Форсайт и другие разложения
- Метод главных компонент Рао и разложение Карунена-Лоэва
- Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
- Теорема о бесплатных обедах в машинном обучении, Волперт
- Метрические пространства: RKHS Аронжайн, теорема Мерсера
- Теорема схем, Холланд
- Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
- Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
- РАС-learning, теорема о том, что сжатие предполагает обучаемость
- Representer theorem, Schölkopf, Herbrich, and Smola
- Вариационная аппроксимация
- Сходимость про вероятности при выборе моделей
- Теорема о связи распределений в экспонентном семействе
- (? Теорема про бандитов)
- (? Копулы и теорема Скляра)
Предлагаемый план изложения материала:
- Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
- Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
- Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
- Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему
Сылка на проект
Расписание лекций
Дата (можно менять, но согласовывать с другими) | Тема | Лектор | Ссылки |
---|---|---|---|
19 февраля | Теорема о сингулярном разложении Молер-Форсайт и другие разложения | Роман Исаченко | |
26 февраля | Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | Марк Потанин | |
4 марта | Обобщенно-линейные модели теорема о связи распределений в экспонентном семействе | Андрей Грабовой | |
11 марта | РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | Тамаз Гадаев | |
18 марта | Теорема о бесплатных обедах в машинном обучении, Волперт | Радослав Нейчев | |
25 марта | Сходимость про вероятности при выборе моделей | Марк Потанин | |
1 апреля | Теорема схем, Холланд | Радослав Нейчев | |
8 апреля | Метрические пространства: RKHS Аронжайн, теорема Мерсера | Алексей Гончаров | |
15 апреля | Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | Филипп Никитин | |
22 апреля | Representer theorem, Schölkopf, Herbrich, and Smola | ||
29 апреля | Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | Филипп Никитин | |
6 мая | Вариационная аппроксимация, теорема о байесовском выборе моделей | Олег Бахтеев |
Темы докладов
Источник: научные статьи последних лет. Продолжительность: 30 минут.
Цели:
- Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
- Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.
Рекомендации к стилю изложения:
- дать основные определения этой области,
- вводимые обозначения должны быть удобны и непротиворечивы,
- используемые термины должны быть точны,
- дать теоретические постановки задач,
- желательно (!) привести теоретические примеры решения и его основные свойства,
- представить математические методы,
- привести примеры прикладных задач.
Тест: готовит лектор, 5 вопросов, требующих краткий ответ на понимание.
Не рекомендуется:
- копипаста из статей, особенно бессмысленная,
- увеличение объема материала за счет снижения качества,
- использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.
Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).
- Байесовское программирование, проблемы и тренды (Салахутдинов)
- Онлайновое обучение
- Байесовские решающие деревья в задачах анализа текстов
- Порождающие модели (гетерогенные, Исаченко)
- Достижения и проблемы RL
- Active learning
- Привилегированное обучение
- Частичное обучение (Semi-supervised learning, Transductive learning)
- Косвенное обучение (Transfer learning)
- Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
- Онлайновое обучение, проблемы и новости
- Атаки на сети: теоретический анализ
- Короткий адрес страницы http://bit.ly/2U3ExKd
- Основная статья