Математические методы прогнозирования (практика, В.В. Стрижов)/Группа 674, весна 2020

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Расписание докладов)
 
(65 промежуточных версий не показаны.)
Строка 1: Строка 1:
'''Фундаментальные теоремы машинного обучения'''
'''Фундаментальные теоремы машинного обучения'''
-
{{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}}
+
 
Мотивация
Мотивация
* Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
* Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
Строка 15: Строка 15:
# Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
# Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
# РАС-learning, теорема о том, что сжатие предполагает обучаемость
# РАС-learning, теорема о том, что сжатие предполагает обучаемость
 +
# Representer theorem, Schölkopf, Herbrich, and Smola
# Вариационная аппроксимация
# Вариационная аппроксимация
# Сходимость про вероятности при выборе моделей
# Сходимость про вероятности при выборе моделей
# Теорема о связи распределений в экспонентном семействе
# Теорема о связи распределений в экспонентном семействе
-
# (? теорема про бандитов)
+
# (? Теорема про бандитов)
# (? Копулы и теорема Скляра)
# (? Копулы и теорема Скляра)
-
 
+
# The Gauss-Markov Theorem
-
 
+
<!--
 +
Теорема Рао — Блэквелла — Колмогорова -->
 +
<!-- Теоремы о
 +
* предпочтении оценок
 +
* сложности
 +
* сходимости
 +
* по вероятности
 +
-->
<!-- Цель курса - повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - сборник лекций, подготовленный авторами - лекторами курса. -->
<!-- Цель курса - повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - сборник лекций, подготовленный авторами - лекторами курса. -->
Строка 29: Строка 37:
# Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
# Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
# Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему
# Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему
 +
 +
==Сылка на проект==
 +
* [https://github.com/Intelligent-Systems-Phystech/FundamentalTheoremsML Intelligent-Systems-Phystech/FundamentalTheoremsML]
 +
 +
==Расписание лекций==
{|class="wikitable"
{|class="wikitable"
Строка 35: Строка 48:
! Тема
! Тема
! Лектор
! Лектор
-
! Докладчик
 
! Ссылки
! Ссылки
|-
|-
 +
|19 февраля
 +
| Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения
 +
|
|
|
-
|Метод главных компонент и разложение Карунена-Лоэва
+
|-
 +
| 26 февраля
 +
| Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
 +
| Марк Потанин
|
|
 +
|-
 +
| 4 марта
 +
| [[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]]
 +
| Андрей Грабовой
 +
|
 +
|-
 +
| 11 марта
 +
| РАС обучаемость, теорема о том, что сжатие предполагает обучаемость
 +
| Тамаз Гадаев
|
|
 +
|-
 +
| 18 марта
 +
| Теорема о бесплатных обедах в машинном обучении, Волперт
 +
| Радослав Нейчев
 +
|
 +
|-
 +
| 25 марта
 +
| Сходимость про вероятности при выборе моделей
 +
| Марк Потанин
 +
|
 +
|-
 +
| 1 апреля
 +
| Теорема схем, Холланд
 +
| Радослав Нейчев
 +
|
 +
|-
 +
| 8 апреля
 +
|Метрические пространства: RKHS Аронжайн, теорема Мерсера
 +
|
 +
|
 +
|-
 +
| 15 апреля
 +
| Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
 +
| Филипп Никитин
 +
|
 +
|-
 +
| 22 апреля
 +
| Representer theorem, Schölkopf, Herbrich, and Smola
 +
|
 +
|
 +
|-
 +
| 29 апреля
 +
| Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
 +
| Филипп Никитин
 +
|
 +
|-
 +
| 6 мая
 +
| Вариационная аппроксимация, теорема о байесовском выборе моделей
 +
| Олег Бахтеев
|
|
|}
|}
==Темы докладов==
==Темы докладов==
-
<!--
+
Источник: научные статьи последних лет. Продолжительность: 30 минут.
-
# Онлайновое обучение
+
 
 +
Цели:
 +
# Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
 +
# Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.
 +
Рекомендации к стилю изложения:
 +
* дать основные определения этой области,
 +
* вводимые обозначения должны быть удобны и непротиворечивы,
 +
* используемые термины должны быть точны,
 +
* дать теоретические постановки задач,
 +
* желательно (!) привести теоретические примеры решения и его основные свойства,
 +
* представить математические методы,
 +
* привести примеры прикладных задач.
 +
Тест 5-10 минут: докладчик готовит 5 вопросов, требующих краткий ответ на понимание и акцентирующих внимание на важных элементах доклада.
 +
 
 +
Не рекомендуется:
 +
* копипаста из статей, особенно бессмысленная,
 +
* увеличение объема материала за счет снижения качества,
 +
* использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.
 +
 
 +
Principle of definitions, ССС: '''Correct, Complete, Concise''' (корректно, полно, сжато).
 +
 
 +
# Байесовское программирование, проблемы и тренды (Салахутдинов)
 +
# Онлайновое обучение, проблемы и новости
 +
# Байесовские решающие деревья в задачах анализа текстов
 +
# Порождающие модели (гетерогенные, Исаченко)
# Достижения и проблемы RL
# Достижения и проблемы RL
 +
# Active learning
# Привилегированное обучение
# Привилегированное обучение
# Частичное обучение (Semi-supervised learning, Transductive learning)
# Частичное обучение (Semi-supervised learning, Transductive learning)
# Косвенное обучение (Transfer learning)
# Косвенное обучение (Transfer learning)
-
# Обучение словарей (Dictionary learning)
+
<!-- # Обучение словарей (Dictionary learning) -->
-
# Задачи многоклассовой классификации с классами различной мощности
+
<!-- # Задачи многоклассовой классификации с классами различной мощности -->
-
# Функция ошибки в моделях глубокого обучения (и задача выбора моделей)
+
<!-- Функция ошибки в моделях глубокого обучения (и задача выбора моделей) -->
-
# Инварианты в задачах глубокого обучения
+
# Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
-
# Выбор признаков в задачах квадратичной оптимизации
+
<!-- Выбор признаков в задачах квадратичной оптимизации -->
-
# Онлайновое обучение, обучение с подкреплением
+
# Атаки на сети: теоретический анализ
-
-->
+
 
-
Короткий адрес страницы
+
== Расписание докладов ==
-
* [http://bit.ly/2U3ExKd http://bit.ly/2U3ExKd]
+
{|class="wikitable"
 +
|-
 +
! Дата (можно менять, но согласовывать с другими)
 +
! Тема
 +
! Докладчик
 +
! Ссылки
 +
|-
 +
|19 февраля
 +
| Достижения и проблемы RL
 +
|Гришанов Алексей
 +
|[https://docs.google.com/presentation/d/177NPDTLEt2z0ezF3769TrpLV-rwgbymRurD5M94AWmg/edit?usp=sharing презентация]
 +
|-
 +
| 26 февраля
 +
| Онлайновое обучение, новости и проблемы
 +
|
 +
|
 +
|-
 +
| 4 марта
 +
| Анализ апостериорного распределения в сетях глубокого обучения
 +
|Аминов Тимур
 +
| [https://github.com/aminovT/NIR/raw/master/pres.pdf презентация]
 +
|-
 +
| 11 марта
 +
|Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS <!--- Байесовские решающие деревья в задачах анализа текстов-->
 +
|Маркин Валерий
 +
| [https://github.com/ValeriyMarkin/Study/raw/master/Presentation_PLS.pdf Презентация] [https://docs.google.com/document/d/16YI73vqpQJ2dycoInwmRCnlfTXwiIXACXd6lClARmOc/edit?usp=sharing Вопросы]
 +
|-
 +
| 18 марта
 +
|Порождающие модели (гетерогенные, Исаченко)
 +
|Садиев Абдурахмон
 +
|[https://drive.google.com/file/d/1UxdNmDoHoCmbb-icUSdgjKGkeDt8APlB/view?usp=sharing Презентация] [https://docs.google.com/document/d/1UPl7IaXaXNIrovTci5576IDOsgABsukfSAoJ6l9oeVk/edit?usp=sharing Вопросы]
 +
|-
 +
| 25 марта
 +
|Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон
 +
|Григорьев Алексей
 +
|[https://drive.google.com/file/d/1H-43N15nmC35KAzHd59NKQ37-z2J7N-J/view?usp=sharing презентация]
 +
|-
 +
| 1 апреля
 +
|Частичное обучение (Semi-supervised learning, Transductive learning)
 +
|Вареник Наталия
 +
|[https://drive.google.com/file/d/1qQmbr_y6TtwQOIeINZlThIUCqYRnu79r/view?usp=sharing презентация] [https://drive.google.com/file/d/1jbrm8F8ILsWjX9Ar3WDSlgRuw2BesILH/view?usp=sharing вопросы]
 +
|-
 +
| 8 апреля
 +
|Косвенное обучение (Transfer learning)
 +
|Северилов Павел
 +
|[[Медиа:Transfer_new.pdf|презентация]] [https://drive.google.com/file/d/1G-yd1lBXqGS53YhB7Ev8Z579Zl5Mg5cC/view?usp=sharing вопросы]
 +
|-
 +
| 15 апреля
 +
|Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
 +
|Безносиков Александр
 +
|[https://drive.google.com/file/d/1oazLZr7CLP_777sAiQsIALZ79_5cWF_c/view?usp=sharing Презентация] [https://drive.google.com/file/d/1deXUD3nrqgLFRhtHzeIPCnTKEeaIOGSV/view?usp=sharing Вопросы]
 +
|-
 +
| 22 апреля
 +
|Active learning
 +
|Юсупов Игорь
 +
|[https://drive.google.com/file/d/18LV2LI3QxmnLtdlg85MlhWyqp7NUP5_T/view?usp=sharing презентация]
 +
|-
 +
| 29 апреля
 +
|Атаки на сети: теоретический анализ
 +
|Панченко Святослав
 +
|[https://drive.google.com/file/d/1qvXv6IIlAN1AaJan9Kb9rhllRM6qgniH/view?usp=sharing Презентация к докладу]
 +
[https://docs.google.com/document/d/1UbDTqHPS5vKqfXrzdPXJUcMg4i3Q0B4wxtstqdiZV14/edit?usp=sharing Вопросы]
 +
|-
 +
| 6 мая
 +
|Байесовское программирование, проблемы и тренды (Салахутдинов)
 +
|
 +
|
 +
|}
 +
 
 +
== Для справки ==
 +
* Оценивание 50 курс А.А., 25 теоремы, 18 доклад, 7 ответы на вопросы.
 +
* Короткий адрес страницы [http://bit.ly/2U3ExKd http://bit.ly/2U3ExKd]
 +
* 29 апреля прездащита (слайды, текст), 20 мая зачет НИР, 10 июня предзащита, 24 июня защита бакалаврских работ
 +
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Основная статья]]
 +
 
 +
== О защите дипломных работ ==
 +
 
 +
* [https://mipt.ru/diht/students/diplom/a_4k40zo.php Базовые требования]
 +
* [https://mipt.ru/docs/download.php?code=prikaz_ob_utverzhdenii_polozheniya_o_vypusknoy_kvalikafitsionnoy_rabote_studentov_mfti_49_1_ot_21_01 Критерии оценивания]
 +
* [https://mipt.ru/education/departments/lpr/students/%D0%9F%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D0%B0%20%D0%9B%D0%A4%D0%98%20%D0%BF%D0%BE%20%D0%92%D0%9A%D0%A0.pdf Требования МФТИ]
 +
 
 +
Структура введения
 +
* [http://machinelearning.ru/wiki/images/3/31/Stenina2015MSThesis.pdf Пример 1 ]
 +
* [http://frccsc.ru/sites/default/files/docs/ds/002-073-05/diss/26-bahteev/ds05-26-bahteev_main.pdf?28 Пример 2 ]
 +
 
 +
Структура презентации
 +
* [http://machinelearning.ru/wiki/images/f/f2/Aduenko_presentation.pdf Пример 1],
 +
* [http://machinelearning.ru/wiki/images/8/8e/Isachenko2016DiplomaPresentation.pdf Пример 2]
 +
* [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Pogodin2017Nonconvexity/Pogodin_bachelor_thesis_2017.pdf Пример 3]
 +
* [http://machinelearning.ru/wiki/images/c/c1/Shibaev2018Presentation.pdf Пример 4]
 +
* [http://machinelearning.ru/wiki/images/7/7f/Stenina2015MSThesisPresentation.pdf Пример 5]
 +
 
 +
Отзыв научного руководителя
 +
* [http://frccsc.ru/sites/default/files/docs/ds/002-073-05/diss/26-bahteev/ds05-26-bahteev_OtzOffOpp-Zaitscev.pdf?489 Пример 1 ]
 +
* [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Examples/ThesisReviews/ Примеры]
 +
 
 +
 
 +
 
 +
[[Категория:Учебные курсы]]

Текущая версия

Фундаментальные теоремы машинного обучения

Мотивация

  • Диссертации к.ф.-м.н. должны содержать обоснованный математический аппрат и теоремы. Студенческие дипломные работы с теоремами приветствуются.
  • Подготовка сборника коллективом авторов.

Содержание

Темы лекций

  1. Теорема о сингулярном разложении Молер-Форсайт и другие разложения
  2. Метод главных компонент Рао и разложение Карунена-Лоэва
  3. Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
  4. Теорема о бесплатных обедах в машинном обучении, Волперт
  5. Метрические пространства: RKHS Аронжайн, теорема Мерсера
  6. Теорема схем, Холланд
  7. Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
  8. Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
  9. РАС-learning, теорема о том, что сжатие предполагает обучаемость
  10. Representer theorem, Schölkopf, Herbrich, and Smola
  11. Вариационная аппроксимация
  12. Сходимость про вероятности при выборе моделей
  13. Теорема о связи распределений в экспонентном семействе
  14. (? Теорема про бандитов)
  15. (? Копулы и теорема Скляра)
  16. The Gauss-Markov Theorem

Предлагаемый план изложения материала:

  1. Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
  2. Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
  3. Формулировка и доказательство теоремы в строгом изложении (можно отходить от авторского варианта, если нужно для ясности)
  4. Значимость теоремы: обзор методов и приложений, иллюстрирующих теорему

Сылка на проект

Расписание лекций

Дата (можно менять, но согласовывать с другими) Тема Лектор Ссылки
19 февраля Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения
26 февраля Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях Марк Потанин
4 марта Берштейн - фон Мизес Андрей Грабовой
11 марта РАС обучаемость, теорема о том, что сжатие предполагает обучаемость Тамаз Гадаев
18 марта Теорема о бесплатных обедах в машинном обучении, Волперт Радослав Нейчев
25 марта Сходимость про вероятности при выборе моделей Марк Потанин
1 апреля Теорема схем, Холланд Радослав Нейчев
8 апреля Метрические пространства: RKHS Аронжайн, теорема Мерсера
15 апреля Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей Филипп Никитин
22 апреля Representer theorem, Schölkopf, Herbrich, and Smola
29 апреля Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) Филипп Никитин
6 мая Вариационная аппроксимация, теорема о байесовском выборе моделей Олег Бахтеев

Темы докладов

Источник: научные статьи последних лет. Продолжительность: 30 минут.

Цели:

  1. Раскрыть проблему постановки и решения задачи машинного обучения и анализа данных в данной теме.
  2. Подобрать примеры постановки и решения известных (а может и узкоспециальных) задач.

Рекомендации к стилю изложения:

  • дать основные определения этой области,
  • вводимые обозначения должны быть удобны и непротиворечивы,
  • используемые термины должны быть точны,
  • дать теоретические постановки задач,
  • желательно (!) привести теоретические примеры решения и его основные свойства,
  • представить математические методы,
  • привести примеры прикладных задач.

Тест 5-10 минут: докладчик готовит 5 вопросов, требующих краткий ответ на понимание и акцентирующих внимание на важных элементах доклада.

Не рекомендуется:

  • копипаста из статей, особенно бессмысленная,
  • увеличение объема материала за счет снижения качества,
  • использование картинок, по которым нельзя однозначно восстановить модель (алгоритм) или понять свойства.

Principle of definitions, ССС: Correct, Complete, Concise (корректно, полно, сжато).

  1. Байесовское программирование, проблемы и тренды (Салахутдинов)
  2. Онлайновое обучение, проблемы и новости
  3. Байесовские решающие деревья в задачах анализа текстов
  4. Порождающие модели (гетерогенные, Исаченко)
  5. Достижения и проблемы RL
  6. Active learning
  7. Привилегированное обучение
  8. Частичное обучение (Semi-supervised learning, Transductive learning)
  9. Косвенное обучение (Transfer learning)
  10. Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей
  11. Атаки на сети: теоретический анализ

Расписание докладов

Дата (можно менять, но согласовывать с другими) Тема Докладчик Ссылки
19 февраля Достижения и проблемы RL Гришанов Алексей презентация
26 февраля Онлайновое обучение, новости и проблемы
4 марта Анализ апостериорного распределения в сетях глубокого обучения Аминов Тимур презентация
11 марта Метод проекций в скрытые пространства: PLS, HOPLS, NLPLS Маркин Валерий Презентация Вопросы
18 марта Порождающие модели (гетерогенные, Исаченко) Садиев Абдурахмон Презентация Вопросы
25 марта Привилегированное обучение и дистилляция сетей, что-то более обоснованное, чем пишет Хинтон Григорьев Алексей презентация
1 апреля Частичное обучение (Semi-supervised learning, Transductive learning) Вареник Наталия презентация вопросы
8 апреля Косвенное обучение (Transfer learning) Северилов Павел презентация вопросы
15 апреля Инварианты в задачах глубокого обучения, откуда берутся, как их проектировать в структуре сетей Безносиков Александр Презентация Вопросы
22 апреля Active learning Юсупов Игорь презентация
29 апреля Атаки на сети: теоретический анализ Панченко Святослав Презентация к докладу

Вопросы

6 мая Байесовское программирование, проблемы и тренды (Салахутдинов)

Для справки

  • Оценивание 50 курс А.А., 25 теоремы, 18 доклад, 7 ответы на вопросы.
  • Короткий адрес страницы http://bit.ly/2U3ExKd
  • 29 апреля прездащита (слайды, текст), 20 мая зачет НИР, 10 июня предзащита, 24 июня защита бакалаврских работ
  • Основная статья

О защите дипломных работ

Структура введения

Структура презентации

Отзыв научного руководителя

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BF%D1%80%D0%BE%D0%B3%D0%BD%D0%BE%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%28%D0%BF%D1%80%D0%B0%D0%BA%D1%82%D0%B8%D0%BA%D0%B0%2C_%D0%92.%D0%92._%D0%A1%D1%82%D1%80%D0%B8%D0%B6%D0%BE%D0%B2%29/%D0%93%D1%80%D1%83%D0%BF%D0%BF%D0%B0_674%2C_%D0%B2%D0%B5%D1%81%D0%BD%D0%B0_2020»
Личные инструменты