Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020
Материал из MachineLearning.
(Различия между версиями)
(→Расписание докладов) |
|||
(45 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
'''Фундаментальные теоремы машинного обучения''' | '''Фундаментальные теоремы машинного обучения''' | ||
- | + | ||
Мотивация | Мотивация | ||
- | * Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы | + | * Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются. |
* Подготовка сборника коллективом авторов. | * Подготовка сборника коллективом авторов. | ||
- | Цель курса - повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - сборник лекций, подготовленный авторами - лекторами курса. | + | ==Темы лекций== |
+ | # Теорема о сингулярном разложении Молер-Форсайт и другие разложения | ||
+ | # Метод главных компонент Рао и разложение Карунена-Лоэва | ||
+ | # Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | ||
+ | # Теорема о бесплатных обедах в машинном обучении, Волперт | ||
+ | # Метрические пространства: RKHS Аронжайн, теорема Мерсера | ||
+ | # Теорема схем, Холланд | ||
+ | # Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | ||
+ | # Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | ||
+ | # РАС-learning, теорема о том, что сжатие предполагает обучаемость | ||
+ | # Representer theorem, Schölkopf, Herbrich, and Smola | ||
+ | # Вариационная аппроксимация | ||
+ | # Сходимость про вероятности при выборе моделей | ||
+ | # Теорема о связи распределений в экспонентном семействе | ||
+ | # (? Теорема про бандитов) | ||
+ | # (? Копулы и теорема Скляра) | ||
+ | # The Gauss-Markov Theorem | ||
+ | <!-- | ||
+ | Теорема Рао — Блэквелла — Колмогорова --> | ||
+ | <!-- Теоремы о | ||
+ | * предпочтении оценок | ||
+ | * сложности | ||
+ | * сходимости | ||
+ | * по вероятности | ||
+ | --> | ||
+ | <!-- Цель курса - повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - сборник лекций, подготовленный авторами - лекторами курса. --> | ||
Предлагаемый план изложения материала: | Предлагаемый план изложения материала: | ||
Строка 12: | Строка 37: | ||
# Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности) | # Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности) | ||
# Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему | # Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему | ||
+ | |||
+ | ==Сылка на проект== | ||
+ | * [https://github.com/Intelligent-Systems-Phystech/FundamentalTheoremsML Intelligent-Systems-Phystech/FundamentalTheoremsML] | ||
+ | |||
+ | ==Расписание лекций== | ||
{|class="wikitable" | {|class="wikitable" | ||
Строка 18: | Строка 48: | ||
! Тема | ! Тема | ||
! Лектор | ! Лектор | ||
+ | ! Ссылки | ||
+ | |- | ||
+ | |19 февраля | ||
+ | | Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения | ||
+ | | Роман Исаченко | ||
+ | | | ||
+ | |- | ||
+ | | 26 февраля | ||
+ | | Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | ||
+ | | Марк Потанин | ||
+ | | | ||
+ | |- | ||
+ | | 4 марта | ||
+ | | Обобщенно-линейные модели теорема о связи распределений в экспонентном семействе | ||
+ | | Андрей Грабовой | ||
+ | | | ||
+ | |- | ||
+ | | 11 марта | ||
+ | | РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | ||
+ | | Тамаз Гадаев | ||
+ | | | ||
+ | |- | ||
+ | | 18 марта | ||
+ | | Теорема о бесплатных обедах в машинном обучении, Волперт | ||
+ | | Радослав Нейчев | ||
+ | | | ||
+ | |- | ||
+ | | 25 марта | ||
+ | | Сходимость про вероятности при выборе моделей | ||
+ | | Марк Потанин | ||
+ | | | ||
+ | |- | ||
+ | | 1 апреля | ||
+ | | Теорема схем, Холланд | ||
+ | | Радослав Нейчев | ||
+ | | | ||
+ | |- | ||
+ | | 8 апреля | ||
+ | |Метрические пространства: RKHS Аронжайн, теорема Мерсера | ||
+ | | Алексей Гончаров | ||
+ | | | ||
+ | |- | ||
+ | | 15 апреля | ||
+ | | Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | ||
+ | | Филипп Никитин | ||
+ | | | ||
+ | |- | ||
+ | | 22 апреля | ||
+ | | Representer theorem, Schölkopf, Herbrich, and Smola | ||
+ | | | ||
+ | | | ||
+ | |- | ||
+ | | 29 апреля | ||
+ | | Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | ||
+ | | Филипп Никитин | ||
+ | | | ||
+ | |- | ||
+ | | 6 мая | ||
+ | | Вариационная аппроксимация, теорема о байесовском выборе моделей | ||
+ | | Олег Бахтеев | ||
+ | | | ||
+ | |} | ||
+ | |||
+ | ==Темы докладов== | ||
+ | Источник: научные статьи последних лет. Продолжительность: 30 минут. | ||
+ | |||
+ | Цели: | ||
+ | # Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме. | ||
+ | # Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач. | ||
+ | Рекомендации к стилю изложения: | ||
+ | * дать основные определения этой области, | ||
+ | * вводимые обозначения должны быть удобны и непротиворечивы, | ||
+ | * используемые термины должны быть точны, | ||
+ | * дать теоретические постановки задач, | ||
+ | * желательно (!) привести теоретические примеры решения и его основные свойства, | ||
+ | * представить математические методы, | ||
+ | * привести примеры прикладных задач. | ||
+ | Тест 5-10 минут: докладчик готовит 5 вопросов, требующих краткий ответ на понимание и акцентирующих внимание на важных элементах доклада. | ||
+ | |||
+ | Не рекомендуется: | ||
+ | * копипаста из статей, особенно бессмысленная, | ||
+ | * увеличение объема материала за счет снижения качества, | ||
+ | * использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства. | ||
+ | |||
+ | Principle of definitions, ССС: '''Correct, Complete, Concise''' (корректно, полно, сжато). | ||
+ | |||
+ | # Байесовское программирование, проблемы и тренды (Салахутдинов) | ||
+ | # Онлайновое обучение, проблемы и новости | ||
+ | # Байесовские решающие деревья в задачах анализа текстов | ||
+ | # Порождающие модели (гетерогенные, Исаченко) | ||
+ | # Достижения и проблемы RL | ||
+ | # Active learning | ||
+ | # Привилегированное обучение | ||
+ | # Частичное обучение (Semi-supervised learning, Transductive learning) | ||
+ | # Косвенное обучение (Transfer learning) | ||
+ | <!-- # Обучение словарей (Dictionary learning) --> | ||
+ | <!-- # Задачи многоклассовой классификации с классами различной мощности --> | ||
+ | <!-- Функция ошибки в моделях глубокого обучения (и задача выбора моделей) --> | ||
+ | # Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | ||
+ | <!-- Выбор признаков в задачах квадратичной оптимизации --> | ||
+ | # Атаки на сети: теоретический анализ | ||
+ | |||
+ | == Расписание докладов == | ||
+ | {|class="wikitable" | ||
+ | |- | ||
+ | ! Дата (можно менять, но согласовывать с другими) | ||
+ | ! Тема | ||
! Докладчик | ! Докладчик | ||
! Ссылки | ! Ссылки | ||
|- | |- | ||
+ | |19 февраля | ||
+ | | Достижения и проблемы RL | ||
+ | |Гришанов Алексей | ||
+ | |[https://docs.google.com/presentation/d/177NPDTLEt2z0ezF3769TrpLV-rwgbymRurD5M94AWmg/edit?usp=sharing презентация] | ||
+ | |- | ||
+ | | 26 февраля | ||
+ | | Онлайновое обучение, новости и проблемы | ||
| | | | ||
- | |||
| | | | ||
+ | |- | ||
+ | | 4 марта | ||
+ | | Анализ апостериорного распределения в сетях глубокого обучения | ||
+ | |Аминов Тимур | ||
+ | | | ||
+ | |- | ||
+ | | 11 марта | ||
+ | |Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS <!--- Байесовские решающие деревья в задачах анализа текстов--> | ||
+ | |Маркин Валерий | ||
+ | | | ||
+ | |- | ||
+ | | 18 марта | ||
+ | |Порождающие модели (гетерогенные, Исаченко) | ||
+ | |Садиев Абдурахмон | ||
+ | | | ||
+ | |- | ||
+ | | 25 марта | ||
+ | |Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон | ||
+ | |Григорьев Алексей | ||
+ | | | ||
+ | |- | ||
+ | | 1 апреля | ||
+ | |Частичное обучение (Semi-supervised learning, Transductive learning) | ||
+ | |Вареник Наталия | ||
+ | | | ||
+ | |- | ||
+ | | 8 апреля | ||
+ | |Косвенное обучение (Transfer learning) | ||
+ | |Северилов Павел | ||
+ | | | ||
+ | |- | ||
+ | | 15 апреля | ||
+ | |Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | ||
+ | |Безносиков Александр | ||
+ | | | ||
+ | |- | ||
+ | | 22 апреля | ||
+ | |Active learning | ||
+ | |Юсупов Игорь | ||
+ | | | ||
+ | |- | ||
+ | | 29 апреля | ||
+ | |Атаки на сети: теоретический анализ | ||
+ | |Панченко Святослав | ||
+ | | | ||
+ | |- | ||
+ | | 6 мая | ||
+ | |Байесовское программирование, проблемы и тренды (Салахутдинов) | ||
| | | | ||
| | | | ||
|} | |} | ||
- | == | + | == Для справки == |
- | + | * Оценивание 50 курс А.А., 25 теоремы, 18 доклад, 7 ответы на вопросы. | |
- | + | * Короткий адрес страницы [http://bit.ly/2U3ExKd http://bit.ly/2U3ExKd] | |
- | + | * 29 апреля прездащита (слайды, текст), 20 мая зачет НИР, 10 июня предзащита, 24 июня защита бакалаврских работ | |
- | + | * [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Основная статья]] | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | == | + | == О защите дипломных работ == |
+ | |||
+ | * [https://mipt.ru/diht/students/diplom/a_4k40zo.php Базовые требования] | ||
+ | * [https://mipt.ru/docs/download.php?code=prikaz_ob_utverzhdenii_polozheniya_o_vypusknoy_kvalikafitsionnoy_rabote_studentov_mfti_49_1_ot_21_01 Критерии оценивания] | ||
+ | * [https://mipt.ru/education/departments/lpr/students/%D0%9F%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D0%B0%20%D0%9B%D0%A4%D0%98%20%D0%BF%D0%BE%20%D0%92%D0%9A%D0%A0.pdf Требования МФТИ] | ||
+ | |||
+ | Структура введения | ||
+ | * [http://machinelearning.ru/wiki/images/3/31/Stenina2015MSThesis.pdf Пример 1 ] | ||
+ | * [http://frccsc.ru/sites/default/files/docs/ds/002-073-05/diss/26-bahteev/ds05-26-bahteev_main.pdf?28 Пример 2 ] | ||
+ | |||
+ | Структура презентации | ||
+ | * [http://machinelearning.ru/wiki/images/f/f2/Aduenko_presentation.pdf Пример 1], | ||
+ | * [http://machinelearning.ru/wiki/images/8/8e/Isachenko2016DiplomaPresentation.pdf Пример 2] | ||
+ | * [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Pogodin2017Nonconvexity/Pogodin_bachelor_thesis_2017.pdf Пример 3] | ||
+ | * [http://machinelearning.ru/wiki/images/c/c1/Shibaev2018Presentation.pdf Пример 4] | ||
+ | * [http://machinelearning.ru/wiki/images/7/7f/Stenina2015MSThesisPresentation.pdf Пример 5] | ||
+ | |||
+ | Отзыв научного руководителя | ||
+ | * [http://frccsc.ru/sites/default/files/docs/ds/002-073-05/diss/26-bahteev/ds05-26-bahteev_OtzOffOpp-Zaitscev.pdf?489 Пример 1 ] | ||
+ | * [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Examples/ThesisReviews/ Примеры] | ||
+ | |||
+ | |||
+ | |||
+ | [[Категория:Учебные курсы]] |
Версия 08:04, 19 февраля 2020
Фундаментальные теоремы машинного обучения
Мотивация
- Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
- Подготовка сборника коллективом авторов.
Содержание |
Темы лекций
- Теорема о сингулярном разложении Молер-Форсайт и другие разложения
- Метод главных компонент Рао и разложение Карунена-Лоэва
- Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
- Теорема о бесплатных обедах в машинном обучении, Волперт
- Метрические пространства: RKHS Аронжайн, теорема Мерсера
- Теорема схем, Холланд
- Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
- Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
- РАС-learning, теорема о том, что сжатие предполагает обучаемость
- Representer theorem, Schölkopf, Herbrich, and Smola
- Вариационная аппроксимация
- Сходимость про вероятности при выборе моделей
- Теорема о связи распределений в экспонентном семействе
- (? Теорема про бандитов)
- (? Копулы и теорема Скляра)
- The Gauss-Markov Theorem
Предлагаемый план изложения материала:
- Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
- Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
- Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
- Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему
Сылка на проект
Расписание лекций
Дата (можно менять, но согласовывать с другими) | Тема | Лектор | Ссылки |
---|---|---|---|
19 февраля | Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения | Роман Исаченко | |
26 февраля | Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | Марк Потанин | |
4 марта | Обобщенно-линейные модели теорема о связи распределений в экспонентном семействе | Андрей Грабовой | |
11 марта | РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | Тамаз Гадаев | |
18 марта | Теорема о бесплатных обедах в машинном обучении, Волперт | Радослав Нейчев | |
25 марта | Сходимость про вероятности при выборе моделей | Марк Потанин | |
1 апреля | Теорема схем, Холланд | Радослав Нейчев | |
8 апреля | Метрические пространства: RKHS Аронжайн, теорема Мерсера | Алексей Гончаров | |
15 апреля | Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | Филипп Никитин | |
22 апреля | Representer theorem, Schölkopf, Herbrich, and Smola | ||
29 апреля | Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | Филипп Никитин | |
6 мая | Вариационная аппроксимация, теорема о байесовском выборе моделей | Олег Бахтеев |
Темы докладов
Источник: научные статьи последних лет. Продолжительность: 30 минут.
Цели:
- Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
- Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.
Рекомендации к стилю изложения:
- дать основные определения этой области,
- вводимые обозначения должны быть удобны и непротиворечивы,
- используемые термины должны быть точны,
- дать теоретические постановки задач,
- желательно (!) привести теоретические примеры решения и его основные свойства,
- представить математические методы,
- привести примеры прикладных задач.
Тест 5-10 минут: докладчик готовит 5 вопросов, требующих краткий ответ на понимание и акцентирующих внимание на важных элементах доклада.
Не рекомендуется:
- копипаста из статей, особенно бессмысленная,
- увеличение объема материала за счет снижения качества,
- использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.
Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).
- Байесовское программирование, проблемы и тренды (Салахутдинов)
- Онлайновое обучение, проблемы и новости
- Байесовские решающие деревья в задачах анализа текстов
- Порождающие модели (гетерогенные, Исаченко)
- Достижения и проблемы RL
- Active learning
- Привилегированное обучение
- Частичное обучение (Semi-supervised learning, Transductive learning)
- Косвенное обучение (Transfer learning)
- Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
- Атаки на сети: теоретический анализ
Расписание докладов
Дата (можно менять, но согласовывать с другими) | Тема | Докладчик | Ссылки |
---|---|---|---|
19 февраля | Достижения и проблемы RL | Гришанов Алексей | презентация |
26 февраля | Онлайновое обучение, новости и проблемы | ||
4 марта | Анализ апостериорного распределения в сетях глубокого обучения | Аминов Тимур | |
11 марта | Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS | Маркин Валерий | |
18 марта | Порождающие модели (гетерогенные, Исаченко) | Садиев Абдурахмон | |
25 марта | Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон | Григорьев Алексей | |
1 апреля | Частичное обучение (Semi-supervised learning, Transductive learning) | Вареник Наталия | |
8 апреля | Косвенное обучение (Transfer learning) | Северилов Павел | |
15 апреля | Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | Безносиков Александр | |
22 апреля | Active learning | Юсупов Игорь | |
29 апреля | Атаки на сети: теоретический анализ | Панченко Святослав | |
6 мая | Байесовское программирование, проблемы и тренды (Салахутдинов) |
Для справки
- Оценивание 50 курс А.А., 25 теоремы, 18 доклад, 7 ответы на вопросы.
- Короткий адрес страницы http://bit.ly/2U3ExKd
- 29 апреля прездащита (слайды, текст), 20 мая зачет НИР, 10 июня предзащита, 24 июня защита бакалаврских работ
- Основная статья
О защите дипломных работ
Структура введения
Структура презентации
Отзыв научного руководителя