Материал из MachineLearning.
-
Мотивация и план курса
Цель курса — повысить качество студенческих научных работ на кафедре, сделать статьи и дипломные работы более обоснованными, изучить технику и практику формулировок доказательства теорем в области машинного обучения. Результат курса - теоретически обоснованные сообщения дипломных работ бакалавра.
Каждое занятие курса:
- Доклад лектора — одна из фундаментальных теорем (40' = 30' + 10' обсуждение)
- Два студенческих доклада (20'=15'+5' обсуждение)
Каждый студент делает два доклада:
- С теоремой взятой из литературы, по которой выполняется дипломная работа
- С собственной теоремой, обосновывающей решение, предлагаемое в дипломное работе
Приветствуются!
- Варианты собственных формулировок и доказательств
- Значимые высказывания ведущих исследователей, оформленные в виде теорем (пример изложения Кристофера Бишопа)
План изложения материала:
- Введение: основное сообщение теоремы в понятном (не обязательно строгом) изложении
- Вводная часть: определение терминов и сведения, необходимые для изложения (обозначения можно использовать авторские или [ссылка на обозначения Б.А.С.])
- Формулировка и доказательство теоремы в строгом изложении (но можно отходить от авторского варианта, если это нужно для ясности)
- Значимость теоремы: ссылки или обзор методов и приложений, иллюстрирующих теорему
Оформление:
- В виде страницы текста, пример [ссылка], шаблон [ссылка]
- Слайды приветствуются, но необязательны
- Очень приветствуются поясняющие рисунки, диаграммы, графики (можно от руки)
Материалы курса:
Оценивание:
- Доклад и материалы к нему 0-4 балла (по сравнению)
- Не по расписанию делим на два
- Экзамен 2 балла
Расписание докладов
Докладчик
| Литература
| Диплом
|
Бишук Антон
| 17.2 link
| 31.3 link
|
Вайсер Кирилл
| 17.2 link
| 31.3 link
|
Гребенькова Ольга
| 24.2 link
| 7.4 link
|
Гунаев Руслан
| 24.2 link
| 7.4 link
|
Жолобов Владимир
| 3.3 link
| 14.4 link
|
Исламов Рустем
| 3.3 link
| 14.4 link
|
Панкратов Виктор
| 10.3 link
| 21.4 link
|
Савельев Николай
| 10.3 link
| 21.4 link
|
Филатов Андрей
| 10.3 link
| 21.4 link
|
Филиппова Анастасия
| 17.3 link
| 28.4 link
|
Харь Александра
| 17.3 link
| 28.4 link
|
Христолюбов Максим
| 24.3 link
| 5.5 link
|
Шокоров Вячеслав
| 24.3 link
| 5.5 link
|
Темы лекций
- Теорема Гаусса-Маркова
- Теорема о сингулярном разложении Молер-Форсайт и другие разложения
- Метод главных компонент Рао и разложение Карунена-Лоэва
- Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
- Теорема о бесплатных обедах в машинном обучении, Волперт
- Метрические пространства: RKHS Аронжайн, теорема Мерсера
- Теорема схем, Холланд
- Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
- Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
- РАС-learning, теорема о том, что сжатие предполагает обучаемость
- Representer theorem, Schölkopf, Herbrich, and Smola
- Вариационная аппроксимация
- Сходимость про вероятности при выборе моделей
- Теорема о связи распределений в экспонентном семействе
- Теорема о многоруких бандитах
- Копулы и теорема Скляра
Расписание лекций
Дата
| Тема
| Лектор
| Ссылки
|
10 февраля
| Вводное занятие
| Стрижов, Потанин
|
|
17 февраля
| Теоремы Колмогорова и Арнольда, теорема об универсальном аппроксиматоре Цыбенко, теорема о глубоких нейросетях
| Марк Потанин
|
|
24 февраля
| Теорема о сингулярном разложении Молер-Форсайт, МГК, и другие разложения
|
|
|
4 марта
| Берштейн - фон Мизес
| Андрей Грабовой
|
|
10 марта
| РАС обучаемость, теорема о том, что сжатие предполагает обучаемость
| Тамаз Гадаев
|
|
17 марта
| Теорема о бесплатных обедах в машинном обучении, Волперт
| Радослав Нейчев
|
|
24 марта
| Сходимость про вероятности при выборе моделей
| Марк Потанин
|
|
31 марта
| Теорема схем, Холланд
| Радослав Нейчев
|
|
7 апреля
| Метрические пространства: RKHS Аронжайн, теорема Мерсера
| Алексей Гончаров
|
|
14 апреля
| Теорема о свертке (Фурье, свертка, автокорреляция) с примерами сверточных сетей
| Филипп Никитин
|
|
21 апреля
| Representer theorem, Schölkopf, Herbrich, and Smola
|
|
|
28 апреля
| Обратная теорема Фурье, теорема Парсеваля (равномерная и неравномерная сходимость)
| Филипп Никитин
|
|
5 мая
| Вариационная аппроксимация, теорема о байесовском выборе моделей
| Олег Бахтеев
|
|
12 мая
| Разбор и обсуждение письменных работ: теоремы их доказательства (входящие в диплом)
| Потанин, Стрижов
|
|
26 мая
| Экзамен: схемы доказательства различных теорем (тест на время, как в гос по физике, и обсуждение)
| Потанин, Адуенко, Бахтеев
|
|
Литература