Фундаментальные теоремы машинного обучения/Группа 674 (практика, М.С. Потанин, В.В. Стрижов)
Материал из MachineLearning.
(Различия между версиями)
(→Оценивание) |
(→Расписание докладов) |
||
(62 промежуточные версии не показаны) | |||
Строка 5: | Строка 5: | ||
Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра. | Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра. | ||
+ | [http://bit.ly/MLTh_21 Короткая ссылка bit.ly/MLTh_21] | ||
===Каждое занятие курса=== | ===Каждое занятие курса=== | ||
# Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение) | # Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение) | ||
Строка 24: | Строка 25: | ||
===Оформление=== | ===Оформление=== | ||
- | * В виде страницы текста, | + | * В виде страницы текста, [https://drive.google.com/file/d/17AcostCAVSKfgK52MAelsSy_dC-sxDR4/view?usp=sharing пример], [https://www.overleaf.com/read/wsmczggkzpgj шаблон] |
* Слайды приветствуются, но необязательны | * Слайды приветствуются, но необязательны | ||
* Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки) | * Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки) | ||
Строка 30: | Строка 31: | ||
===Материалы курса=== | ===Материалы курса=== | ||
* Проект на GitHub для загрузки докладов [https://github.com/Intelligent-Systems-Phystech/FundamentalTheoremsML Intelligent-Systems-Phystech/FundamentalTheoremsML] | * Проект на GitHub для загрузки докладов [https://github.com/Intelligent-Systems-Phystech/FundamentalTheoremsML Intelligent-Systems-Phystech/FundamentalTheoremsML] | ||
+ | ** В папку группы 674 загрузить pdf, tex, fig с именем файла | ||
+ | ** Surname2021Literature, Surname2021Research, | ||
* Канал Youtube [https://www.youtube.com/channel/UC90B3Y_FbBRrRQk5TCiKgSA Machine Learning] | * Канал Youtube [https://www.youtube.com/channel/UC90B3Y_FbBRrRQk5TCiKgSA Machine Learning] | ||
- | * Ссылка на сессию Zoom | + | * Ссылка на сессию Zoom m1p.org/go_zoom |
===Оценивание=== | ===Оценивание=== | ||
Строка 43: | Строка 46: | ||
! Докладчик | ! Докладчик | ||
! Литература | ! Литература | ||
- | ! Диплом | + | ! Наука/Диплом |
|- | |- | ||
|Бишук Антон | |Бишук Антон | ||
- | |17.2 link | + | |17.2 [https://github.com/ApostolAnt/Projects/blob/master/______.pdf link] |
- | |31.3 link | + | |31.3 [https://github.com/ApostolAnt/Projects/blob/master/______.pdf link] |
|- | |- | ||
|Вайсер Кирилл
| |Вайсер Кирилл
| ||
- | |17.2 link | + | |17.2 [https://github.com/Nerkan78/IntelligentSystems/blob/main/Diploma/VayserKirill2020/MatheronRule.pdf link] |
- | |31.3 link | + | |31.3 [https://github.com/Nerkan78/IntelligentSystems/blob/main/Diploma/VayserKirill2020/ErrorAnalysis.pdf link] |
|- | |- | ||
|Гребенькова Ольга
| |Гребенькова Ольга
| ||
- | |24.2 link | + | |24.2 [https://github.com/Intelligent-Systems-Phystech/Grebenkova-BS-Thesis/raw/main/ELBo.pdf link] |
- | |7.4 link | + | |7.4 [https://github.com/Intelligent-Systems-Phystech/Grebenkova-BS-Thesis/raw/main/Theorem_f.pdf link] |
|- | |- | ||
|Гунаев Руслан | |Гунаев Руслан | ||
- | |24.2 link | + | |24.2 [https://github.com/Gunaev/Gunaev_BS-thesis/blob/main/th_diplom.pdf link] |
|7.4 link
| |7.4 link
| ||
|- | |- | ||
|Жолобов Владимир
| |Жолобов Владимир
| ||
- | |3.3 link | + | |3.3 [https://github.com/Intelligent-Systems-Phystech/Zholobov-BS-Thesis/blob/main/Zholobov_thesis.pdf link] |
|14.4 link | |14.4 link | ||
|- | |- | ||
|Исламов Рустем | |Исламов Рустем | ||
- | |3.3 link | + | |3.3 [https://github.com/Intelligent-Systems-Phystech/Islamov-BS-Thesis/blob/main/Fundamental%20theorems%20on%20Machine%20Learning/First%20report/Stochastic%20Newton%20method.pdf link] |
- | |14.4 link | + | |14.4 [https://github.com/Intelligent-Systems-Phystech/Islamov-BS-Thesis/blob/main/Fundamental%20theorems%20on%20Machine%20Learning/Second%20report/Convergence_of_NEWTON-STAR.pdf link] |
|- | |- | ||
|Панкратов Виктор
| |Панкратов Виктор
| ||
- | |10.3 link | + | |10.3 [https://github.com/Intelligent-Systems-Phystech/Pankratov_BS_Thesis/blob/main/link1.pdf link] |
|21.4 link | |21.4 link | ||
|- | |- | ||
|Савельев Николай | |Савельев Николай | ||
- | |10.3 link | + | |10.3 [https://github.com/Intelligent-Systems-Phystech/Savelev-BS-Thesis/raw/main/Prediction_Learning_and_Games-%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%8B-18-21.pdf link] |
- | |21.4 link | + | |21.4 [https://github.com/Intelligent-Systems-Phystech/Savelev-BS-Thesis/raw/main/Clean_slides.pdf link] |
|- | |- | ||
- | |Филатов Андрей | + | |Филатов Андрей |
- | |10.3 link | + | |10.3 [https://github.com/Intelligent-Systems-Phystech/Filatov-BS-Thesis/blob/main/Fundamental%20Theorems/Theorem.pdf link] |
- | |21.4 link | + | |21.4 [https://github.com/Intelligent-Systems-Phystech/Filatov-BS-Thesis/blob/main/Fundamental%20Theorems/My_theorem.pdf link] |
|- | |- | ||
|Филиппова Анастасия
| |Филиппова Анастасия
| ||
Строка 86: | Строка 89: | ||
|- | |- | ||
|Харь Александра
| |Харь Александра
| ||
- | |17.3 link | + | |17.3 [https://github.com/Intelligent-Systems-Phystech/Khar-BS-Thesis/raw/main/otchet_1.pdf link] |
- | |28.4 link | + | |28.4 [https://github.com/Intelligent-Systems-Phystech/Khar-BS-Thesis/raw/main/theorem_diplom.pdf link] |
|- | |- | ||
|Христолюбов Максим | |Христолюбов Максим | ||
- | |24.3 link | + | |24.3 [https://github.com/Intelligent-Systems-Phystech/Khristolyubov-BS-Thesis/blob/main/paper/Proof_of_the_theorem.pdf link] |
|5.5 link | |5.5 link | ||
|- | |- | ||
|Шокоров Вячеслав
| |Шокоров Вячеслав
| ||
- | |24.3 link | + | |24.3 [https://github.com/Intelligent-Systems-Phystech/Shokorov-BS-Thesis/blob/main/report/VKR_Theorem.pdf link] |
- | |5.5 link | + | |5.5 [https://github.com/Intelligent-Systems-Phystech/Shokorov-BS-Thesis/blob/main/report/VKR_Theorem_2.pdf link] |
|- | |- | ||
|} | |} | ||
Строка 111: | Строка 114: | ||
# РАС-learning, теорема о том, что сжатие предполагает обучаемость | # РАС-learning, теорема о том, что сжатие предполагает обучаемость | ||
# Representer theorem, Schölkopf, Herbrich, and Smola | # Representer theorem, Schölkopf, Herbrich, and Smola | ||
+ | # Теорема о бустинге Freud, Shapire, 1996 | ||
+ | # Теорема о бутстрепе (статистические оценки подвыборки) | ||
# Вариационная аппроксимация | # Вариационная аппроксимация | ||
# Сходимость про вероятности при выборе моделей | # Сходимость про вероятности при выборе моделей | ||
Строка 117: | Строка 122: | ||
# Копулы и теорема Скляра | # Копулы и теорема Скляра | ||
- | + | == Темы для докладов == | |
+ | # Теоремы трех работа Greg Yang https://arxiv.org/pdf/1910.12478.pdf https://arxiv.org/pdf/2006.14548 https://arxiv.org/pdf/2009.10685.pdf [https://www.youtube.com/watch?v=kc9ll6B-xVU&list=PLt1IfGj6-_-ewBQJDVMJOJNlW5AbY6D3p&index=4&fbclid=IwAR3kIUQZWsh9j_Xp2TYb5ZmcsH7nFDIpCuRnmeoxoRJyPuxKvFyxTRI3ypY рус] | ||
+ | # Теоремы работы по потокам Johann Brehmera and Kyle Cranmera arXiv:2003.13913v2 | ||
==Расписание лекций== | ==Расписание лекций== | ||
Строка 128: | Строка 135: | ||
|- | |- | ||
|10 февраля | |10 февраля | ||
- | |Вводное занятие | + | |Вводное занятие (и Основная теорема статистики) |
|Стрижов, Потанин | |Стрижов, Потанин | ||
- | | | + | |[https://drive.google.com/file/d/17AcostCAVSKfgK52MAelsSy_dC-sxDR4/view?usp=sharing link] |
|- | |- | ||
|17 февраля | |17 февраля | ||
- | | | + | |Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена |
|Марк Потанин | |Марк Потанин | ||
- | | | + | |[https://drive.google.com/file/d/1Pu8mvexKkO45ED4MWSH-sZDusNNTgMpC/view?usp=sharing link] |
|- | |- | ||
|24 февраля | |24 февраля | ||
- | | | + | |Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях |
- | | | + | |Марк Потанин |
- | | | + | |[https://drive.google.com/file/d/1Thm73TYyLXhoHNA_4uhyFB9Im26Ctjxp/view?usp=sharing link] |
|- | |- | ||
- | | | + | |10 марта |
|[[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]] | |[[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]] | ||
|Андрей Грабовой | |Андрей Грабовой | ||
- | | | + | |[[Media:BershteinFonMises.pdf|link]] |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | | | + | |
|- | |- | ||
|17 марта | |17 марта | ||
- | | | + | |[[Media:BershteinFonMises.pdf|Берштейн - фон Мизес]] (продолжение) |
- | | | + | |Андрей Грабовой |
- | | | + | |[[Media:BershteinFonMises.pdf|link]] |
|- | |- | ||
- | |24 марта | + | |24 марта |
+ | |[[Media:PAC_learning_compress.pdf|РАС обучаемость, теорема о том, что сжатие предполагает обучаемость]] | ||
+ | |Андрей Грабовой | ||
+ | |[[Media:PAC_learning_compress.pdf|link]] | ||
+ | |- | ||
+ | |31 марта | ||
|Сходимость про вероятности при выборе моделей | |Сходимость про вероятности при выборе моделей | ||
|Марк Потанин | |Марк Потанин | ||
- | | | + | |[https://drive.google.com/file/d/1-rtOJtjivRs0TwOga8-MLaBEzCcUyD0H/view?usp=sharing link] |
- | + | <!-- | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
|- | |- | ||
|7 апреля | |7 апреля | ||
+ | |Теорема о минимальной длине описания | ||
+ | |Олег Бахтеев | ||
|Метрические пространства: RKHS Аронжайн, теорема Мерсера | |Метрические пространства: RKHS Аронжайн, теорема Мерсера | ||
|Алексей Гончаров | |Алексей Гончаров | ||
- | | | + | | link |
+ | --> | ||
|- | |- | ||
|14 апреля | |14 апреля | ||
|Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | |Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | ||
|Филипп Никитин | |Филипп Никитин | ||
- | | | + | |[https://www.overleaf.com/read/srzjbwxjfmhd link] |
|- | |- | ||
|21 апреля | |21 апреля | ||
|Representer theorem, Schölkopf, Herbrich, and Smola | |Representer theorem, Schölkopf, Herbrich, and Smola | ||
- | | | + | |Андрей Грабовой |
- | | | + | | link |
|- | |- | ||
|28 апреля | |28 апреля | ||
|Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | |Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | ||
|Филипп Никитин | |Филипп Никитин | ||
- | | | + | |[https://www.overleaf.com/read/fymcpgwdgfhc link] |
|- | |- | ||
|5 мая | |5 мая | ||
|Вариационная аппроксимация, теорема о байесовском выборе моделей | |Вариационная аппроксимация, теорема о байесовском выборе моделей | ||
|Олег Бахтеев | |Олег Бахтеев | ||
- | | | + | | link |
|- | |- | ||
|12 мая | |12 мая | ||
- | |Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом) | + | |Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом) – по заявкам |
|Потанин, Стрижов | |Потанин, Стрижов | ||
- | | | + | | |
|- | |- | ||
|26 мая | |26 мая | ||
- | |Экзамен: схемы доказательства различных теорем | + | |Экзамен: схемы доказательства различных теорем |
|Потанин, Адуенко, Бахтеев | |Потанин, Адуенко, Бахтеев | ||
| | | | ||
+ | <!-- | ||
+ | |- | ||
+ | | | ||
+ | |Теорема о бесплатных обедах в машинном обучении, Волперт | ||
+ | |Радослав Нейчев | ||
+ | | | ||
+ | |- | ||
+ | | | ||
+ | |Теорема схем, Холланд | ||
+ | |Радослав Нейчев | ||
+ | | | ||
+ | --> | ||
|- | |- | ||
|} | |} | ||
+ | |||
+ | |||
+ | ===Список теорем для экзамена=== | ||
+ | На время 15 минут предлагается две теоремы из списка, обсуждается '''рукописный черновик''' со схемой. | ||
+ | Выбираются случайно, вторая теорема может быть своя из диплома, если она в дипломе есть. | ||
+ | # Основная теорема статистики | ||
+ | # Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена | ||
+ | # Теоремы Колмогорова и Арнольда, | ||
+ | # теорема об универсальном аппроксиматоре Цыбенко, | ||
+ | # теорема о глубоких нейросетях | ||
+ | # Берштейн–фон Мизес | ||
+ | # РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | ||
+ | # Теорема о свертке | ||
==Литература== | ==Литература== | ||
+ | # [http://lpcs.math.msu.su/~zolin/ax/pdf/2015_Axiomatic_method_Zolin_Lectures.pdf Аксиоматический метод, 2015] | ||
+ | # [http://eqworld.ipmnet.ru/ru/library/books/Klini1957ru.djvu Клини С.К. Введение в метаматематику, 1957] | ||
+ | # [http://www.vixri.com/d/Uspenskij%20V.A.%20_Chto%20takoe%20aksiomaticheskij%20metod.pdf Успенский В.А. Что такое аксиоматический метод?, 2001] (см. также Труды по НЕматематике) | ||
+ | # Купиллари А. Трудности доказательств, 2002 | ||
+ | # Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин, 1970 (глава про сходимость) | ||
+ | # Borovkov A.A. Mathematical statistics, 1998 | ||
+ | # [https://cs9.pikabu.ru/post_img/big/2018/05/21/9/1526915408141416733.jpg Пикабу. Типичные методы доказательства, 2018] (если вы чувствуете, что несет не туда) | ||
+ | # Henry Poincare. Science and Method | ||
+ | # Peter Kosso. A Summary of Scientific Method, 2011 | ||
+ | # Carlo Ghezzi Being a Researcher: An Informatics Perspective, 2020 |
Текущая версия
|
Мотивация и план курса
Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.
Короткая ссылка bit.ly/MLTh_21
Каждое занятие курса
- Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
- Два студенческих доклада (20'=15'+5' обсуждение)
Каждый студент делает два доклада
- С теоремой взятой из литературы, по которой выполняется дипломная работа
- С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе
Приветствуются!
- Варианты собственных формулировок и доказательств
- Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа)
План изложения материала
- Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
- Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
- Формулировка и доказательство теоремы в строгом изложении (но можно отходить от авторского варианта, если это нужно для ясности)
- Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему
Оформление
- В виде страницы текста, пример, шаблон
- Слайды приветствуются, но необязательны
- Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)
Материалы курса
- Проект на GitHub для загрузки докладов Intelligent-Systems-Phystech/FundamentalTheoremsML
- В папку группы 674 загрузить pdf, tex, fig с именем файла
- Surname2021Literature, Surname2021Research,
- Канал Youtube Machine Learning
- Ссылка на сессию Zoom m1p.org/go_zoom
Оценивание
- Доклад и материалы к нему 0-4 балла (по результатам сравнения работ)
- Не по расписанию делим на два
- Экзамен 2 балла
Расписание докладов
Докладчик | Литература | Наука/Диплом |
---|---|---|
Бишук Антон | 17.2 link | 31.3 link |
Вайсер Кирилл | 17.2 link | 31.3 link |
Гребенькова Ольга | 24.2 link | 7.4 link |
Гунаев Руслан | 24.2 link | 7.4 link |
Жолобов Владимир | 3.3 link | 14.4 link |
Исламов Рустем | 3.3 link | 14.4 link |
Панкратов Виктор | 10.3 link | 21.4 link |
Савельев Николай | 10.3 link | 21.4 link |
Филатов Андрей | 10.3 link | 21.4 link |
Филиппова Анастасия | 17.3 link | 28.4 link |
Харь Александра | 17.3 link | 28.4 link |
Христолюбов Максим | 24.3 link | 5.5 link |
Шокоров Вячеслав | 24.3 link | 5.5 link |
Темы лекций
- Теорема Гаусса-Маркова
- Теорема о сингулярном разложении Молер-Форсайт и другие разложения
- Метод главных компонент Рао и разложение Карунена-Лоэва
- Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
- Теорема о бесплатных обедах в машинном обучении, Волперт
- Метрические пространства: RKHS Аронжайн, теорема Мерсера
- Теорема схем, Холланд
- Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
- Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
- РАС-learning, теорема о том, что сжатие предполагает обучаемость
- Representer theorem, Schölkopf, Herbrich, and Smola
- Теорема о бустинге Freud, Shapire, 1996
- Теорема о бутстрепе (статистические оценки подвыборки)
- Вариационная аппроксимация
- Сходимость про вероятности при выборе моделей
- Теорема о связи распределений в экспонентном семействе
- Теорема о многоруких бандитах
- Копулы и теорема Скляра
Темы для докладов
- Теоремы трех работа Greg Yang https://arxiv.org/pdf/1910.12478.pdf https://arxiv.org/pdf/2006.14548 https://arxiv.org/pdf/2009.10685.pdf рус
- Теоремы работы по потокам Johann Brehmera and Kyle Cranmera arXiv:2003.13913v2
Расписание лекций
Дата | Тема | Лектор | Ссылки |
---|---|---|---|
10 февраля | Вводное занятие (и Основная теорема статистики) | Стрижов, Потанин | link |
17 февраля | Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена | Марк Потанин | link |
24 февраля | Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях | Марк Потанин | link |
10 марта | Берштейн - фон Мизес | Андрей Грабовой | link |
17 марта | Берштейн - фон Мизес (продолжение) | Андрей Грабовой | link |
24 марта | РАС обучаемость, теорема о том, что сжатие предполагает обучаемость | Андрей Грабовой | link |
31 марта | Сходимость про вероятности при выборе моделей | Марк Потанин | link |
14 апреля | Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей | Филипп Никитин | link |
21 апреля | Representer theorem, Schölkopf, Herbrich, and Smola | Андрей Грабовой | link |
28 апреля | Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость) | Филипп Никитин | link |
5 мая | Вариационная аппроксимация, теорема о байесовском выборе моделей | Олег Бахтеев | link |
12 мая | Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом) – по заявкам | Потанин, Стрижов | |
26 мая | Экзамен: схемы доказательства различных теорем | Потанин, Адуенко, Бахтеев |
Список теорем для экзамена
На время 15 минут предлагается две теоремы из списка, обсуждается рукописный черновик со схемой. Выбираются случайно, вторая теорема может быть своя из диплома, если она в дипломе есть.
- Основная теорема статистики
- Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена
- Теоремы Колмогорова и Арнольда,
- теорема об универсальном аппроксиматоре Цыбенко,
- теорема о глубоких нейросетях
- Берштейн–фон Мизес
- РАС обучаемость, теорема о том, что сжатие предполагает обучаемость
- Теорема о свертке
Литература
- Аксиоматический метод, 2015
- Клини С.К. Введение в метаматематику, 1957
- Успенский В.А. Что такое аксиоматический метод?, 2001 (см. также Труды по НЕматематике)
- Купиллари А. Трудности доказательств, 2002
- Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин, 1970 (глава про сходимость)
- Borovkov A.A. Mathematical statistics, 1998
- Пикабу. Типичные методы доказательства, 2018 (если вы чувствуете, что несет не туда)
- Henry Poincare. Science and Method
- Peter Kosso. A Summary of Scientific Method, 2011
- Carlo Ghezzi Being a Researcher: An Informatics Perspective, 2020