Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020
Материал из MachineLearning.
(Различия между версиями)
(→Темы докладов) |
(→Расписание докладов) |
||
(51 промежуточная версия не показана) | |||
Строка 1: | Строка 1: | ||
'''Фундаментальные теоремы машинного обучения''' | '''Фундаментальные теоремы машинного обучения''' | ||
+ | |||
Мотивация | Мотивация | ||
* Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются. | * Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются. | ||
Строка 20: | Строка 21: | ||
# (? Теорема про бандитов) | # (? Теорема про бандитов) | ||
# (? Копулы и теорема Скляра) | # (? Копулы и теорема Скляра) | ||
- | + | # The Gauss-Markov Theorem | |
- | + | ||
<!-- | <!-- | ||
Теорема Рао — Блэквелла — Колмогорова --> | Теорема Рао — Блэквелла — Колмогорова --> | ||
Строка 30: | Строка 30: | ||
* по вероятности | * по вероятности | ||
--> | --> | ||
- | |||
<!-- Цель курса - повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - сборник лекций, подготовленный авторами - лекторами курса. --> | <!-- Цель курса - повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - сборник лекций, подготовленный авторами - лекторами курса. --> | ||
Строка 52: | Строка 51: | ||
|- | |- | ||
|19 февраля | |19 февраля | ||
- | | Теорема о сингулярном разложении Молер-Форсайт и другие разложения | + | | Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения |
- | | | + | | |
| | | | ||
|- | |- | ||
Строка 62: | Строка 61: | ||
|- | |- | ||
| 4 марта | | 4 марта | ||
- | | | + | | [[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]] |
| Андрей Грабовой | | Андрей Грабовой | ||
| | | | ||
Строка 88: | Строка 87: | ||
| 8 апреля | | 8 апреля | ||
|Метрические пространства: RKHS Аронжайн, теорема Мерсера | |Метрические пространства: RKHS Аронжайн, теорема Мерсера | ||
- | | | + | | |
| | | | ||
|- | |- | ||
Строка 126: | Строка 125: | ||
* представить математические методы, | * представить математические методы, | ||
* привести примеры прикладных задач. | * привести примеры прикладных задач. | ||
- | + | Тест 5-10 минут: докладчик готовит 5 вопросов, требующих краткий ответ на понимание и акцентирующих внимание на важных элементах доклада. | |
Не рекомендуется: | Не рекомендуется: | ||
Строка 136: | Строка 135: | ||
# Байесовское программирование, проблемы и тренды (Салахутдинов) | # Байесовское программирование, проблемы и тренды (Салахутдинов) | ||
- | # Онлайновое обучение | + | # Онлайновое обучение, проблемы и новости |
# Байесовские решающие деревья в задачах анализа текстов | # Байесовские решающие деревья в задачах анализа текстов | ||
# Порождающие модели (гетерогенные, Исаченко) | # Порождающие модели (гетерогенные, Исаченко) | ||
Строка 149: | Строка 148: | ||
# Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | # Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | ||
<!-- Выбор признаков в задачах квадратичной оптимизации --> | <!-- Выбор признаков в задачах квадратичной оптимизации --> | ||
- | |||
# Атаки на сети: теоретический анализ | # Атаки на сети: теоретический анализ | ||
== Расписание докладов == | == Расписание докладов == | ||
- | {|class="wikitable" | + | {|class="wikitable" |
|- | |- | ||
! Дата (можно менять, но согласовывать с другими) | ! Дата (можно менять, но согласовывать с другими) | ||
Строка 162: | Строка 160: | ||
|19 февраля | |19 февраля | ||
| Достижения и проблемы RL | | Достижения и проблемы RL | ||
- | | | + | |Гришанов Алексей |
- | | | + | |[https://docs.google.com/presentation/d/177NPDTLEt2z0ezF3769TrpLV-rwgbymRurD5M94AWmg/edit?usp=sharing презентация] |
|- | |- | ||
| 26 февраля | | 26 февраля | ||
- | | | + | | Онлайновое обучение, новости и проблемы |
| | | | ||
| | | | ||
|- | |- | ||
| 4 марта | | 4 марта | ||
- | | | + | | Анализ апостериорного распределения в сетях глубокого обучения |
- | | | + | |Аминов Тимур |
- | | | + | | [https://github.com/aminovT/NIR/raw/master/pres.pdf презентация] |
|- | |- | ||
| 11 марта | | 11 марта | ||
- | |Байесовские решающие деревья в задачах анализа текстов | + | |Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS <!--- Байесовские решающие деревья в задачах анализа текстов--> |
- | | | + | |Маркин Валерий |
- | | | + | | [https://github.com/ValeriyMarkin/Study/raw/master/Presentation_PLS.pdf Презентация] [https://docs.google.com/document/d/16YI73vqpQJ2dycoInwmRCnlfTXwiIXACXd6lClARmOc/edit?usp=sharing Вопросы] |
|- | |- | ||
| 18 марта | | 18 марта | ||
|Порождающие модели (гетерогенные, Исаченко) | |Порождающие модели (гетерогенные, Исаченко) | ||
- | | | + | |Садиев Абдурахмон |
- | | | + | |[https://drive.google.com/file/d/1UxdNmDoHoCmbb-icUSdgjKGkeDt8APlB/view?usp=sharing Презентация] [https://docs.google.com/document/d/1UPl7IaXaXNIrovTci5576IDOsgABsukfSAoJ6l9oeVk/edit?usp=sharing Вопросы] |
|- | |- | ||
| 25 марта | | 25 марта | ||
- | |Привилегированное обучение, что-то более обоснованное, чем пишет Хинтон | + | |Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон |
- | | | + | |Григорьев Алексей |
- | | | + | |[https://drive.google.com/file/d/1H-43N15nmC35KAzHd59NKQ37-z2J7N-J/view?usp=sharing презентация] |
|- | |- | ||
| 1 апреля | | 1 апреля | ||
|Частичное обучение (Semi-supervised learning, Transductive learning) | |Частичное обучение (Semi-supervised learning, Transductive learning) | ||
- | | | + | |Вареник Наталия |
- | | | + | |[https://drive.google.com/file/d/1qQmbr_y6TtwQOIeINZlThIUCqYRnu79r/view?usp=sharing презентация] [https://drive.google.com/file/d/1jbrm8F8ILsWjX9Ar3WDSlgRuw2BesILH/view?usp=sharing вопросы] |
|- | |- | ||
| 8 апреля | | 8 апреля | ||
|Косвенное обучение (Transfer learning) | |Косвенное обучение (Transfer learning) | ||
- | | | + | |Северилов Павел |
- | | | + | |[[Медиа:Transfer_new.pdf|презентация]] [https://drive.google.com/file/d/1G-yd1lBXqGS53YhB7Ev8Z579Zl5Mg5cC/view?usp=sharing вопросы] |
|- | |- | ||
| 15 апреля | | 15 апреля | ||
|Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | |Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | ||
- | | | + | |Безносиков Александр |
- | | | + | |[https://drive.google.com/file/d/1oazLZr7CLP_777sAiQsIALZ79_5cWF_c/view?usp=sharing Презентация] [https://drive.google.com/file/d/1deXUD3nrqgLFRhtHzeIPCnTKEeaIOGSV/view?usp=sharing Вопросы] |
|- | |- | ||
| 22 апреля | | 22 апреля | ||
- | | | + | |Active learning |
- | | | + | |Юсупов Игорь |
- | | | + | |[https://drive.google.com/file/d/18LV2LI3QxmnLtdlg85MlhWyqp7NUP5_T/view?usp=sharing презентация] |
|- | |- | ||
| 29 апреля | | 29 апреля | ||
|Атаки на сети: теоретический анализ | |Атаки на сети: теоретический анализ | ||
- | | | + | |Панченко Святослав |
- | | | + | |[https://drive.google.com/file/d/1qvXv6IIlAN1AaJan9Kb9rhllRM6qgniH/view?usp=sharing Презентация к докладу] |
+ | [https://docs.google.com/document/d/1UbDTqHPS5vKqfXrzdPXJUcMg4i3Q0B4wxtstqdiZV14/edit?usp=sharing Вопросы] | ||
|- | |- | ||
| 6 мая | | 6 мая | ||
- | | | + | |Байесовское программирование, проблемы и тренды (Салахутдинов) |
| | | | ||
| | | | ||
|} | |} | ||
- | == | + | == Для справки == |
+ | * Оценивание 50 курс А.А., 25 теоремы, 18 доклад, 7 ответы на вопросы. | ||
* Короткий адрес страницы [http://bit.ly/2U3ExKd http://bit.ly/2U3ExKd] | * Короткий адрес страницы [http://bit.ly/2U3ExKd http://bit.ly/2U3ExKd] | ||
+ | * 29 апреля прездащита (слайды, текст), 20 мая зачет НИР, 10 июня предзащита, 24 июня защита бакалаврских работ | ||
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Основная статья]] | * [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Основная статья]] | ||
+ | |||
+ | == О защите дипломных работ == | ||
+ | |||
+ | * [https://mipt.ru/diht/students/diplom/a_4k40zo.php Базовые требования] | ||
+ | * [https://mipt.ru/docs/download.php?code=prikaz_ob_utverzhdenii_polozheniya_o_vypusknoy_kvalikafitsionnoy_rabote_studentov_mfti_49_1_ot_21_01 Критерии оценивания] | ||
+ | * [https://mipt.ru/education/departments/lpr/students/%D0%9F%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D0%B0%20%D0%9B%D0%A4%D0%98%20%D0%BF%D0%BE%20%D0%92%D0%9A%D0%A0.pdf Требования МФТИ] | ||
+ | |||
+ | Структура введения | ||
+ | * [http://machinelearning.ru/wiki/images/3/31/Stenina2015MSThesis.pdf Пример 1 ] | ||
+ | * [http://frccsc.ru/sites/default/files/docs/ds/002-073-05/diss/26-bahteev/ds05-26-bahteev_main.pdf?28 Пример 2 ] | ||
+ | |||
+ | Структура презентации | ||
+ | * [http://machinelearning.ru/wiki/images/f/f2/Aduenko_presentation.pdf Пример 1], | ||
+ | * [http://machinelearning.ru/wiki/images/8/8e/Isachenko2016DiplomaPresentation.pdf Пример 2] | ||
+ | * [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Pogodin2017Nonconvexity/Pogodin_bachelor_thesis_2017.pdf Пример 3] | ||
+ | * [http://machinelearning.ru/wiki/images/c/c1/Shibaev2018Presentation.pdf Пример 4] | ||
+ | * [http://machinelearning.ru/wiki/images/7/7f/Stenina2015MSThesisPresentation.pdf Пример 5] | ||
+ | |||
+ | Отзыв научного руководителя | ||
+ | * [http://frccsc.ru/sites/default/files/docs/ds/002-073-05/diss/26-bahteev/ds05-26-bahteev_OtzOffOpp-Zaitscev.pdf?489 Пример 1 ] | ||
+ | * [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Examples/ThesisReviews/ Примеры] | ||
+ | |||
+ | |||
+ | |||
[[Категория:Учебные курсы]] | [[Категория:Учебные курсы]] |
Текущая версия
Фундаментальные теоремы машинного обучения
Мотивация
- Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
- Подготовка сборника коллективом авторов.
Содержание |
Темы лекций
- Теорема о сингулярном разложении Молер-Форсайт и другие разложения
- Метод главных компонент Рао и разложение Карунена-Лоэва
- Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
- Теорема о бесплатных обедах в машинном обучении, Волперт
- Метрические пространства: RKHS Аронжайн, теорема Мерсера
- Теорема схем, Холланд
- Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
- Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
- РАС-learning, теорема о том, что сжатие предполагает обучаемость
- Representer theorem, Schölkopf, Herbrich, and Smola
- Вариационная аппроксимация
- Сходимость про вероятности при выборе моделей
- Теорема о связи распределений в экспонентном семействе
- (? Теорема про бандитов)
- (? Копулы и теорема Скляра)
- The Gauss-Markov Theorem
Предлагаемый план изложения материала:
- Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
- Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
- Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
- Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему
Сылка на проект
Расписание лекций
Дата (можно менять, но согласовывать с другими) | Тема | Лектор | Ссылки |
---|---|---|---|
19 февраля | Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения | ||
26 февраля | Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | Марк Потанин | |
4 марта | Берштейн - фон Мизес | Андрей Грабовой | |
11 марта | РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | Тамаз Гадаев | |
18 марта | Теорема о бесплатных обедах в машинном обучении, Волперт | Радослав Нейчев | |
25 марта | Сходимость про вероятности при выборе моделей | Марк Потанин | |
1 апреля | Теорема схем, Холланд | Радослав Нейчев | |
8 апреля | Метрические пространства: RKHS Аронжайн, теорема Мерсера | ||
15 апреля | Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | Филипп Никитин | |
22 апреля | Representer theorem, Schölkopf, Herbrich, and Smola | ||
29 апреля | Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | Филипп Никитин | |
6 мая | Вариационная аппроксимация, теорема о байесовском выборе моделей | Олег Бахтеев |
Темы докладов
Источник: научные статьи последних лет. Продолжительность: 30 минут.
Цели:
- Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
- Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.
Рекомендации к стилю изложения:
- дать основные определения этой области,
- вводимые обозначения должны быть удобны и непротиворечивы,
- используемые термины должны быть точны,
- дать теоретические постановки задач,
- желательно (!) привести теоретические примеры решения и его основные свойства,
- представить математические методы,
- привести примеры прикладных задач.
Тест 5-10 минут: докладчик готовит 5 вопросов, требующих краткий ответ на понимание и акцентирующих внимание на важных элементах доклада.
Не рекомендуется:
- копипаста из статей, особенно бессмысленная,
- увеличение объема материала за счет снижения качества,
- использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.
Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).
- Байесовское программирование, проблемы и тренды (Салахутдинов)
- Онлайновое обучение, проблемы и новости
- Байесовские решающие деревья в задачах анализа текстов
- Порождающие модели (гетерогенные, Исаченко)
- Достижения и проблемы RL
- Active learning
- Привилегированное обучение
- Частичное обучение (Semi-supervised learning, Transductive learning)
- Косвенное обучение (Transfer learning)
- Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
- Атаки на сети: теоретический анализ
Расписание докладов
Дата (можно менять, но согласовывать с другими) | Тема | Докладчик | Ссылки |
---|---|---|---|
19 февраля | Достижения и проблемы RL | Гришанов Алексей | презентация |
26 февраля | Онлайновое обучение, новости и проблемы | ||
4 марта | Анализ апостериорного распределения в сетях глубокого обучения | Аминов Тимур | презентация |
11 марта | Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS | Маркин Валерий | Презентация Вопросы |
18 марта | Порождающие модели (гетерогенные, Исаченко) | Садиев Абдурахмон | Презентация Вопросы |
25 марта | Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон | Григорьев Алексей | презентация |
1 апреля | Частичное обучение (Semi-supervised learning, Transductive learning) | Вареник Наталия | презентация вопросы |
8 апреля | Косвенное обучение (Transfer learning) | Северилов Павел | презентация вопросы |
15 апреля | Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей | Безносиков Александр | Презентация Вопросы |
22 апреля | Active learning | Юсупов Игорь | презентация |
29 апреля | Атаки на сети: теоретический анализ | Панченко Святослав | Презентация к докладу |
6 мая | Байесовское программирование, проблемы и тренды (Салахутдинов) |
Для справки
- Оценивание 50 курс А.А., 25 теоремы, 18 доклад, 7 ответы на вопросы.
- Короткий адрес страницы http://bit.ly/2U3ExKd
- 29 апреля прездащита (слайды, текст), 20 мая зачет НИР, 10 июня предзащита, 24 июня защита бакалаврских работ
- Основная статья
О защите дипломных работ
Структура введения
Структура презентации
Отзыв научного руководителя