Фундаментальные теоремы машинного обучения/Группа 674 (практика, М.С. Потанин, В.В. Стрижов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Расписание лекций)
(Расписание докладов)
 
(57 промежуточных версий не показаны.)
Строка 5: Строка 5:
Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.
Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.
 +
[http://bit.ly/MLTh_21 Короткая ссылка bit.ly/MLTh_21]
===Каждое занятие курса===
===Каждое занятие курса===
# Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
# Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
Строка 24: Строка 25:
===Оформление===
===Оформление===
-
* В виде страницы текста, пример [ссылка], шаблон [ссылка]
+
* В виде страницы текста, [https://drive.google.com/file/d/17AcostCAVSKfgK52MAelsSy_dC-sxDR4/view?usp=sharing пример], [https://www.overleaf.com/read/wsmczggkzpgj шаблон]
* Слайды приветствуются, но необязательны
* Слайды приветствуются, но необязательны
* Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)
* Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)
Строка 33: Строка 34:
** Surname2021Literature, Surname2021Research,
** Surname2021Literature, Surname2021Research,
* Канал Youtube [https://www.youtube.com/channel/UC90B3Y_FbBRrRQk5TCiKgSA Machine Learning]
* Канал Youtube [https://www.youtube.com/channel/UC90B3Y_FbBRrRQk5TCiKgSA Machine Learning]
-
* Ссылка на сессию Zoom
+
* Ссылка на сессию Zoom m1p.org/go_zoom
===Оценивание===
===Оценивание===
Строка 45: Строка 46:
! Докладчик
! Докладчик
! Литература
! Литература
-
! Диплом
+
! Наука/Диплом
|-
|-
|Бишук Антон
|Бишук Антон
-
|17.2 link
+
|17.2 [https://github.com/ApostolAnt/Projects/blob/master/______.pdf link]
-
|31.3 link
+
|31.3 [https://github.com/ApostolAnt/Projects/blob/master/______.pdf link]
|-
|-
|Вайсер Кирилл 

|Вайсер Кирилл 

-
|17.2 link
+
|17.2 [https://github.com/Nerkan78/IntelligentSystems/blob/main/Diploma/VayserKirill2020/MatheronRule.pdf link]
-
|31.3 link
+
|31.3 [https://github.com/Nerkan78/IntelligentSystems/blob/main/Diploma/VayserKirill2020/ErrorAnalysis.pdf link]
|-
|-
|Гребенькова Ольга 

|Гребенькова Ольга 

-
|24.2 link
+
|24.2 [https://github.com/Intelligent-Systems-Phystech/Grebenkova-BS-Thesis/raw/main/ELBo.pdf link]
-
|7.4 link
+
|7.4 [https://github.com/Intelligent-Systems-Phystech/Grebenkova-BS-Thesis/raw/main/Theorem_f.pdf link]
|-
|-
|Гунаев Руслан
|Гунаев Руслан
-
|24.2 link
+
|24.2 [https://github.com/Gunaev/Gunaev_BS-thesis/blob/main/th_diplom.pdf link]
|7.4 link

|7.4 link

|-
|-
|Жолобов Владимир 

|Жолобов Владимир 

-
|3.3 link
+
|3.3 [https://github.com/Intelligent-Systems-Phystech/Zholobov-BS-Thesis/blob/main/Zholobov_thesis.pdf link]
|14.4 link
|14.4 link
|-
|-
|Исламов Рустем
|Исламов Рустем
-
|3.3 link
+
|3.3 [https://github.com/Intelligent-Systems-Phystech/Islamov-BS-Thesis/blob/main/Fundamental%20theorems%20on%20Machine%20Learning/First%20report/Stochastic%20Newton%20method.pdf link]
-
|14.4 link
+
|14.4 [https://github.com/Intelligent-Systems-Phystech/Islamov-BS-Thesis/blob/main/Fundamental%20theorems%20on%20Machine%20Learning/Second%20report/Convergence_of_NEWTON-STAR.pdf link]
|-
|-
|Панкратов Виктор 

|Панкратов Виктор 

-
|10.3 link
+
|10.3 [https://github.com/Intelligent-Systems-Phystech/Pankratov_BS_Thesis/blob/main/link1.pdf link]
|21.4 link
|21.4 link
|-
|-
|Савельев Николай
|Савельев Николай
-
|10.3 link
+
|10.3 [https://github.com/Intelligent-Systems-Phystech/Savelev-BS-Thesis/raw/main/Prediction_Learning_and_Games-%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%8B-18-21.pdf link]
-
|21.4 link
+
|21.4 [https://github.com/Intelligent-Systems-Phystech/Savelev-BS-Thesis/raw/main/Clean_slides.pdf link]
|-
|-
-
|Филатов Андрей
+
|Филатов Андрей
-
|10.3 link
+
|10.3 [https://github.com/Intelligent-Systems-Phystech/Filatov-BS-Thesis/blob/main/Fundamental%20Theorems/Theorem.pdf link]
-
|21.4 link
+
|21.4 [https://github.com/Intelligent-Systems-Phystech/Filatov-BS-Thesis/blob/main/Fundamental%20Theorems/My_theorem.pdf link]
|-
|-
|Филиппова Анастасия 

|Филиппова Анастасия 

Строка 88: Строка 89:
|-
|-
|Харь Александра 

|Харь Александра 

-
|17.3 link
+
|17.3 [https://github.com/Intelligent-Systems-Phystech/Khar-BS-Thesis/raw/main/otchet_1.pdf link]
-
|28.4 link
+
|28.4 [https://github.com/Intelligent-Systems-Phystech/Khar-BS-Thesis/raw/main/theorem_diplom.pdf link]
|-
|-
|Христолюбов Максим
|Христолюбов Максим
-
|24.3 link
+
|24.3 [https://github.com/Intelligent-Systems-Phystech/Khristolyubov-BS-Thesis/blob/main/paper/Proof_of_the_theorem.pdf link]
|5.5 link
|5.5 link
|-
|-
|Шокоров Вячеслав 

|Шокоров Вячеслав 

-
|24.3 link
+
|24.3 [https://github.com/Intelligent-Systems-Phystech/Shokorov-BS-Thesis/blob/main/report/VKR_Theorem.pdf link]
-
|5.5 link
+
|5.5 [https://github.com/Intelligent-Systems-Phystech/Shokorov-BS-Thesis/blob/main/report/VKR_Theorem_2.pdf link]
|-
|-
|}
|}
Строка 113: Строка 114:
# РАС-learning, теорема о том, что сжатие предполагает обучаемость
# РАС-learning, теорема о том, что сжатие предполагает обучаемость
# Representer theorem, Schölkopf, Herbrich, and Smola
# Representer theorem, Schölkopf, Herbrich, and Smola
 +
# Теорема о бустинге Freud, Shapire, 1996
 +
# Теорема о бутстрепе (статистические оценки подвыборки)
# Вариационная аппроксимация
# Вариационная аппроксимация
# Сходимость про вероятности при выборе моделей
# Сходимость про вероятности при выборе моделей
Строка 119: Строка 122:
# Копулы и теорема Скляра
# Копулы и теорема Скляра
-
 
+
== Темы для докладов ==
 +
# Теоремы трех работа Greg Yang https://arxiv.org/pdf/1910.12478.pdf https://arxiv.org/pdf/2006.14548 https://arxiv.org/pdf/2009.10685.pdf [https://www.youtube.com/watch?v=kc9ll6B-xVU&list=PLt1IfGj6-_-ewBQJDVMJOJNlW5AbY6D3p&index=4&fbclid=IwAR3kIUQZWsh9j_Xp2TYb5ZmcsH7nFDIpCuRnmeoxoRJyPuxKvFyxTRI3ypY рус]
 +
# Теоремы работы по потокам Johann Brehmera and Kyle Cranmera arXiv:2003.13913v2
==Расписание лекций==
==Расписание лекций==
Строка 130: Строка 135:
|-
|-
|10 февраля
|10 февраля
-
|Вводное занятие
+
|Вводное занятие (и Основная теорема статистики)
|Стрижов, Потанин
|Стрижов, Потанин
-
|
+
|[https://drive.google.com/file/d/17AcostCAVSKfgK52MAelsSy_dC-sxDR4/view?usp=sharing link]
|-
|-
|17 февраля
|17 февраля
|Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена
|Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена
|Марк Потанин
|Марк Потанин
-
|
+
|[https://drive.google.com/file/d/1Pu8mvexKkO45ED4MWSH-sZDusNNTgMpC/view?usp=sharing link]
|-
|-
|24 февраля
|24 февраля
|Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
|Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
|Марк Потанин
|Марк Потанин
-
|
+
|[https://drive.google.com/file/d/1Thm73TYyLXhoHNA_4uhyFB9Im26Ctjxp/view?usp=sharing link]
|-
|-
-
|4 марта
+
|10 марта
|[[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]]
|[[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]]
|Андрей Грабовой
|Андрей Грабовой
-
|
+
|[[Media:BershteinFonMises.pdf|link]]
-
|-
+
-
|10 марта
+
-
|РАС обучаемость, теорема о том, что сжатие предполагает обучаемость
+
-
|Тамаз Гадаев
+
-
|
+
|-
|-
|17 марта
|17 марта
-
|Теорема о бесплатных обедах в машинном обучении, Волперт
+
|[[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]] (продолжение)
-
|Радослав Нейчев
+
|Андрей Грабовой
-
|
+
|[[Media:BershteinFonMises.pdf|link]]
|-
|-
-
|24 марта
+
|24 марта
 +
|[[Media:PAC_learning_compress.pdf|РАС обучаемость, теорема о том, что сжатие предполагает обучаемость]]
 +
|Андрей Грабовой
 +
|[[Media:PAC_learning_compress.pdf|link]]
 +
|-
 +
|31 марта
|Сходимость про вероятности при выборе моделей
|Сходимость про вероятности при выборе моделей
|Марк Потанин
|Марк Потанин
-
|
+
|[https://drive.google.com/file/d/1-rtOJtjivRs0TwOga8-MLaBEzCcUyD0H/view?usp=sharing link]
-
|-
+
<!--
-
|31 марта
+
-
|Теорема схем, Холланд
+
-
|Радослав Нейчев
+
-
|
+
|-
|-
|7 апреля
|7 апреля
 +
|Теорема о минимальной длине описания
 +
|Олег Бахтеев
|Метрические пространства: RKHS Аронжайн, теорема Мерсера
|Метрические пространства: RKHS Аронжайн, теорема Мерсера
|Алексей Гончаров
|Алексей Гончаров
-
|
+
| link
 +
-->
|-
|-
|14 апреля
|14 апреля
|Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
|Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
|Филипп Никитин
|Филипп Никитин
-
|
+
|[https://www.overleaf.com/read/srzjbwxjfmhd link]
|-
|-
|21 апреля
|21 апреля
|Representer theorem, Schölkopf, Herbrich, and Smola
|Representer theorem, Schölkopf, Herbrich, and Smola
|Андрей Грабовой
|Андрей Грабовой
-
|
+
| link
|-
|-
|28 апреля
|28 апреля
|Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
|Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
|Филипп Никитин
|Филипп Никитин
-
|
+
|[https://www.overleaf.com/read/fymcpgwdgfhc link]
|-
|-
|5 мая
|5 мая
|Вариационная аппроксимация, теорема о байесовском выборе моделей
|Вариационная аппроксимация, теорема о байесовском выборе моделей
|Олег Бахтеев
|Олег Бахтеев
-
|
+
| link
|-
|-
|12 мая
|12 мая
-
|Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом)
+
|Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом) – по заявкам
|Потанин, Стрижов
|Потанин, Стрижов
-
|
+
|
|-
|-
|26 мая
|26 мая
-
|Экзамен: схемы доказательства различных теорем (тест на время, как в гос по физике, и обсуждение)
+
|Экзамен: схемы доказательства различных теорем
|Потанин, Адуенко, Бахтеев
|Потанин, Адуенко, Бахтеев
|
|
 +
<!--
 +
|-
 +
|
 +
|Теорема о бесплатных обедах в машинном обучении, Волперт
 +
|Радослав Нейчев
 +
|
 +
|-
 +
|
 +
|Теорема схем, Холланд
 +
|Радослав Нейчев
 +
|
 +
-->
|-
|-
|}
|}
 +
 +
 +
===Список теорем для экзамена===
 +
На время 15 минут предлагается две теоремы из списка, обсуждается '''рукописный черновик''' со схемой.
 +
Выбираются случайно, вторая теорема может быть своя из диплома, если она в дипломе есть.
 +
# Основная теорема статистики
 +
# Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена
 +
# Теоремы Колмогорова и Арнольда,
 +
# теорема об универсальном аппроксиматоре Цыбенко,
 +
# теорема о глубоких нейросетях
 +
# Берштейн–фон Мизес
 +
# РАС обучаемость, теорема о том, что сжатие предполагает обучаемость
 +
# Теорема о свертке
==Литература==
==Литература==
-
# [http://lpcs.math.msu.su/~zolin/ax/pdf/2015_Axiomatic_method_Zolin_Lectures.pdf Золин Е.Е. Аксомаический метод, 2015]
+
# [http://lpcs.math.msu.su/~zolin/ax/pdf/2015_Axiomatic_method_Zolin_Lectures.pdf Аксиоматический метод, 2015]
# [http://eqworld.ipmnet.ru/ru/library/books/Klini1957ru.djvu Клини С.К. Введение в метаматематику, 1957]
# [http://eqworld.ipmnet.ru/ru/library/books/Klini1957ru.djvu Клини С.К. Введение в метаматематику, 1957]
-
# [http://www.vixri.com/d/Uspenskij%20V.A.%20_Chto%20takoe%20aksiomaticheskij%20metod.pdf Успенский В.А. Что такое аксиоматический метод?, 2001] (См. также Труды по НЕматематике)
+
# [http://www.vixri.com/d/Uspenskij%20V.A.%20_Chto%20takoe%20aksiomaticheskij%20metod.pdf Успенский В.А. Что такое аксиоматический метод?, 2001] (см. также Труды по НЕматематике)
-
#
+
# Купиллари А. Трудности доказательств, 2002
 +
# Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин, 1970 (глава про сходимость)
 +
# Borovkov A.A. Mathematical statistics, 1998
 +
# [https://cs9.pikabu.ru/post_img/big/2018/05/21/9/1526915408141416733.jpg Пикабу. Типичные методы доказательства, 2018] (если вы чувствуете, что несет не туда)
 +
# Henry Poincare. Science and Method
 +
# Peter Kosso. A Summary of Scientific Method, 2011
 +
# Carlo Ghezzi Being a Researcher: An Informatics Perspective, 2020

Текущая версия

Содержание

Мотивация и план курса

Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.

Короткая ссылка bit.ly/MLTh_21

Каждое занятие курса

  1. Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
  2. Два студенческих доклада (20'=15'+5' обсуждение)

Каждый студент делает два доклада

  1. С теоремой взятой из литературы, по которой выполняется дипломная работа
  2. С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе

Приветствуются!

  • Варианты собственных формулировок и доказательств
  • Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа)

План изложения материала

  1. Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
  2. Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
  3. Формулировка и доказательство теоремы в строгом изложении (но можно отходить от авторского варианта, если это нужно для ясности)
  4. Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему

Оформление

  • В виде страницы текста, пример, шаблон
  • Слайды приветствуются, но необязательны
  • Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)

Материалы курса

  • Проект на GitHub для загрузки докладов Intelligent-Systems-Phystech/FundamentalTheoremsML
    • В папку группы 674 загрузить pdf, tex, fig с именем файла
    • Surname2021Literature, Surname2021Research,
  • Канал Youtube Machine Learning
  • Ссылка на сессию Zoom m1p.org/go_zoom

Оценивание

  • Доклад и материалы к нему 0-4 балла (по результатам сравнения работ)
  • Не по расписанию делим на два
  • Экзамен 2 балла

Расписание докладов

Докладчик Литература Наука/Диплом
Бишук Антон 17.2 link 31.3 link
Вайсер Кирилл 
 17.2 link 31.3 link
Гребенькова Ольга 
 24.2 link 7.4 link
Гунаев Руслан 24.2 link 7.4 link

Жолобов Владимир 
 3.3 link 14.4 link
Исламов Рустем 3.3 link 14.4 link
Панкратов Виктор 
 10.3 link 21.4 link
Савельев Николай 10.3 link 21.4 link
Филатов Андрей 10.3 link 21.4 link
Филиппова Анастасия 
 17.3 link 28.4 link
Харь Александра 
 17.3 link 28.4 link
Христолюбов Максим 24.3 link 5.5 link
Шокоров Вячеслав 
 24.3 link 5.5 link

Темы лекций

  1. Теорема Гаусса-Маркова
  2. Теорема о сингулярном разложении Молер-Форсайт и другие разложения
  3. Метод главных компонент Рао и разложение Карунена-Лоэва
  4. Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
  5. Теорема о бесплатных обедах в машинном обучении, Волперт
  6. Метрические пространства: RKHS Аронжайн, теорема Мерсера
  7. Теорема схем, Холланд
  8. Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
  9. Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
  10. РАС-learning, теорема о том, что сжатие предполагает обучаемость
  11. Representer theorem, Schölkopf, Herbrich, and Smola
  12. Теорема о бустинге Freud, Shapire, 1996
  13. Теорема о бутстрепе (статистические оценки подвыборки)
  14. Вариационная аппроксимация
  15. Сходимость про вероятности при выборе моделей
  16. Теорема о связи распределений в экспонентном семействе
  17. Теорема о многоруких бандитах
  18. Копулы и теорема Скляра

Темы для докладов

  1. Теоремы трех работа Greg Yang https://arxiv.org/pdf/1910.12478.pdf https://arxiv.org/pdf/2006.14548 https://arxiv.org/pdf/2009.10685.pdf рус
  2. Теоремы работы по потокам Johann Brehmera and Kyle Cranmera arXiv:2003.13913v2

Расписание лекций

Дата Тема Лектор Ссылки
10 февраля Вводное занятие (и Основная теорема статистики) Стрижов, Потанин link
17 февраля Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена Марк Потанин link
24 февраля Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях Марк Потанин link
10 марта Берштейн - фон Мизес Андрей Грабовой link
17 марта Берштейн - фон Мизес (продолжение) Андрей Грабовой link
24 марта РАС обучаемость, теорема о том, что сжатие предполагает обучаемость Андрей Грабовой link
31 марта Сходимость про вероятности при выборе моделей Марк Потанин link
14 апреля Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей Филипп Никитин link
21 апреля Representer theorem, Schölkopf, Herbrich, and Smola Андрей Грабовой link
28 апреля Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) Филипп Никитин link
5 мая Вариационная аппроксимация, теорема о байесовском выборе моделей Олег Бахтеев link
12 мая Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом) – по заявкам Потанин, Стрижов
26 мая Экзамен: схемы доказательства различных теорем Потанин, Адуенко, Бахтеев


Список теорем для экзамена

На время 15 минут предлагается две теоремы из списка, обсуждается рукописный черновик со схемой. Выбираются случайно, вторая теорема может быть своя из диплома, если она в дипломе есть.

  1. Основная теорема статистики
  2. Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена
  3. Теоремы Колмогорова и Арнольда,
  4. теорема об универсальном аппроксиматоре Цыбенко,
  5. теорема о глубоких нейросетях
  6. Берштейн–фон Мизес
  7. РАС обучаемость, теорема о том, что сжатие предполагает обучаемость
  8. Теорема о свертке

Литература

  1. Аксиоматический метод, 2015
  2. Клини С.К. Введение в метаматематику, 1957
  3. Успенский В.А. Что такое аксиоматический метод?, 2001 (см. также Труды по НЕматематике)
  4. Купиллари А. Трудности доказательств, 2002
  5. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин, 1970 (глава про сходимость)
  6. Borovkov A.A. Mathematical statistics, 1998
  7. Пикабу. Типичные методы доказательства, 2018 (если вы чувствуете, что несет не туда)
  8. Henry Poincare. Science and Method
  9. Peter Kosso. A Summary of Scientific Method, 2011
  10. Carlo Ghezzi Being a Researcher: An Informatics Perspective, 2020
Личные инструменты