Фундаментальные теоремы машинного обучения/Группа 674 (практика, М.С. Потанин, В.В. Стрижов)

Материал из MachineLearning.

Основная статья: Численные методы обучения по прецедентам (практика, В.В. Стрижов)

Содержание 1 Мотивация и план курса 1.1 Каждое занятие курса 1.2 Каждый студент делает два доклада 1.3 Приветствуются! 1.4 План изложения материала 1.5 Оформление 1.6 Материалы курса 1.7 Оценивание 2 Расписание докладов 3 Темы лекций 4 Темы для докладов 5 Расписание лекций 5.1 Список теорем для экзамена 6 Литература

Мотивация и план курса

Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.

Короткая ссылка bit.ly/MLTh_21

Каждое занятие курса

1. Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
2. Два студенческих доклада (20'=15'+5' обсуждение)

Каждый студент делает два доклада

1. С теоремой взятой из литературы, по которой выполняется дипломная работа
2. С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе

Приветствуются!

• Варианты собственных формулировок и доказательств
• Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа)

План изложения материала

1. Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
2. Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
3. Формулировка и доказательство теоремы в строгом изложении (но можно отходить от авторского варианта, если это нужно для ясности)
4. Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему

Оформление

• В виде страницы текста, пример, шаблон
• Слайды приветствуются, но необязательны
• Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)

Материалы курса

• Проект на GitHub для загрузки докладов Intelligent-Systems-Phystech/FundamentalTheoremsML
  • В папку группы 674 загрузить pdf, tex, fig с именем файла
  • Surname2021Literature, Surname2021Research,
• Канал Youtube Machine Learning
• Ссылка на сессию Zoom m1p.org/go_zoom

Оценивание

• Доклад и материалы к нему 0-4 балла (по результатам сравнения работ)
• Не по расписанию делим на два
• Экзамен 2 балла

Расписание докладов

Докладчик	Литература	Наука/Диплом
Бишук Антон	17.2 link	31.3 link
Вайсер Кирилл	17.2 link	31.3 link
Гребенькова Ольга	24.2 link	7.4 link
Гунаев Руслан	24.2 link	7.4 link
Жолобов Владимир	3.3 link	14.4 link
Исламов Рустем	3.3 link	14.4 link
Панкратов Виктор	10.3 link	21.4 link
Савельев Николай	10.3 link	21.4 link
Филатов Андрей	10.3 link	21.4 link
Филиппова Анастасия	17.3 link	28.4 link
Харь Александра	17.3 link	28.4 link
Христолюбов Максим	24.3 link	5.5 link
Шокоров Вячеслав	24.3 link	5.5 link

Темы лекций

1. Теорема Гаусса-Маркова
2. Теорема о сингулярном разложении Молер-Форсайт и другие разложения
3. Метод главных компонент Рао и разложение Карунена-Лоэва
4. Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
5. Теорема о бесплатных обедах в машинном обучении, Волперт
6. Метрические пространства: RKHS Аронжайн, теорема Мерсера
7. Теорема схем, Холланд
8. Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
9. Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
10. РАС-learning, теорема о том, что сжатие предполагает обучаемость
11. Representer theorem, Schölkopf, Herbrich, and Smola
12. Теорема о бустинге Freud, Shapire, 1996
13. Теорема о бутстрепе (статистические оценки подвыборки)
14. Вариационная аппроксимация
15. Сходимость про вероятности при выборе моделей
16. Теорема о связи распределений в экспонентном семействе
17. Теорема о многоруких бандитах
18. Копулы и теорема Скляра

Темы для докладов

1. Теоремы трех работа Greg Yang https://arxiv.org/pdf/1910.12478.pdf https://arxiv.org/pdf/2006.14548 https://arxiv.org/pdf/2009.10685.pdf рус
2. Теоремы работы по потокам Johann Brehmera and Kyle Cranmera arXiv:2003.13913v2

Расписание лекций

Дата	Тема	Лектор	Ссылки
10 февраля	Вводное занятие (и Основная теорема статистики)	Стрижов, Потанин	link
17 февраля	Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена	Марк Потанин	link
24 февраля	Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях	Марк Потанин	link
10 марта	Берштейн - фон Мизес	Андрей Грабовой	link
17 марта	Берштейн - фон Мизес (продолжение)	Андрей Грабовой	link
24 марта	РАС обучаемость, теорема о том, что сжатие предполагает обучаемость	Андрей Грабовой	link
31 марта	Сходимость про вероятности при выборе моделей	Марк Потанин	link
14 апреля	Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей	Филипп Никитин	link
21 апреля	Representer theorem, Schölkopf, Herbrich, and Smola	Андрей Грабовой	link
28 апреля	Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)	Филипп Никитин	link
5 мая	Вариационная аппроксимация, теорема о байесовском выборе моделей	Олег Бахтеев	link
12 мая	Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом) – по заявкам	Потанин, Стрижов
26 мая	Экзамен: схемы доказательства различных теорем	Потанин, Адуенко, Бахтеев

Список теорем для экзамена

На время 15 минут предлагается две теоремы из списка, обсуждается рукописный черновик со схемой. Выбираются случайно, вторая теорема может быть своя из диплома, если она в дипломе есть.

1. Основная теорема статистики
2. Теорема сходимости перцептрона Ф.Розенблатта, Блока, Джозефа, Кестена
3. Теоремы Колмогорова и Арнольда,
4. теорема об универсальном аппроксиматоре Цыбенко,
5. теорема о глубоких нейросетях
6. Берштейн–фон Мизес
7. РАС обучаемость, теорема о том, что сжатие предполагает обучаемость
8. Теорема о свертке

Литература

1. Аксиоматический метод, 2015
2. Клини С.К. Введение в метаматематику, 1957
3. Успенский В.А. Что такое аксиоматический метод?, 2001 (см. также Труды по НЕматематике)
4. Купиллари А. Трудности доказательств, 2002
5. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин, 1970 (глава про сходимость)
6. Borovkov A.A. Mathematical statistics, 1998
7. Пикабу. Типичные методы доказательства, 2018 (если вы чувствуете, что несет не туда)
8. Henry Poincare. Science and Method
9. Peter Kosso. A Summary of Scientific Method, 2011
10. Carlo Ghezzi Being a Researcher: An Informatics Perspective, 2020