Выбор моделей в машинном обучении (теория и практика, О.Ю. Бахтеев, В.В. Стрижов)/Группа 574, осень 2020

Материал из MachineLearning.

Версия 20:29, 1 сентября 2020 (править) Strijov (Обсуждение | вклад) (→Темы семинаров) ← К предыдущему изменению		Версия 20:57, 1 сентября 2020 (править) (отменить) Strijov (Обсуждение | вклад) (→Литература) К следующему изменению →
Строка 127:		Строка 127:
	|-		|-
	|}		|}
		+
		+	=== Зачеты ===
		+	По семинарам: анкеты каждую ненелю и задачи в конце
		+	По практике: две лекции на 49 минут по заданным темам с голосованием
	=== Литература ===		=== Литература ===
		+	# [http://strijov.com/papers/Strijov2012ErrorFn.pdf Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.]
		+	# [http://strijov.com/papers/HyperOptimizationEng.pdf Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.]
		+	# [http://strijov.com/papers/ZaytsevStrijovTokmakova2012Likelihood_Preprint.pdf Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии, 2013, 2 : 11-15.]
		+	# [https://doi.org/10.1134/S000511791808009X Bakhteev O.Y., Strijov V.V. Deep learning model selection of suboptimal complexity // Automation and Remote Control, 2018, 79(8) : 1474–1488.]
		+	# [http://strijov.com/papers/Bakhteev2017Hypergrad.pdf Bakhteev O.Y., Strijov V.V. Comprehensive analysis of gradient-based hyperparameter optimization algorithmss // Annals of Operations Research, 2020 : 1-15.]

---

Версия 20:57, 1 сентября 2020

Основная статья: Численные методы обучения по прецедентам (практика, В.В. Стрижов)

Серия семниаров и докладов на тему выбора моделей машинного обучения. Обсуждаются теоретическе аспекты и практика байесовского подхода к выбору моделей. Цель семинаров - обсудить роль информативного априорного распределения (informative prior). Основные вопросы:

1. Как учитывать экспертные знания при назначении АР (простановка задач байесовского выбора моделей)?
2. Каким образом связаны теоретические модели прикладной области с информативным АР (интерпретируемость моделей с точки зрения теории)?
3. Как использовать новую информацию, полученную в результате вывода, придальнейшем назначении АР?

Темы семинаров

1. Байесовский вывод (повторение).
2. Вариационный вывод, семплирование, VAR, GAN (повторение)
3. Оптимизация структур моделей и распределения структурных параметров
4. Смеси моделей, смеси экспертов и их применение
5. Прямое, обратное преобразование Фурье, его аппроксимация и АР
6. Спектральная теория графов и АР
7. Применение байесовских методов в биологии и в EM, SRF микроскории
8. Применение байесовских методов в теоретической физике
9. Экспертное обучение и способы назначения априорных распределений
10. GAN и порождение структур агностических моделей
11. Байесовский подход в теории игр и задачи ИИ
12. Байесовское программирование и задачи порождения рукописных текстов
13. Необходимый размер выборки и его приложения в обучении с подкреплением

Темы на выбор

Указать в таблице одну из тем:

Расписание

Дата	Автор	Тема		Автор	Тема
16
23
30
7 октября
14
21
28
4 ноября
11
18
25
2 декабря
9

Зачеты

По семинарам: анкеты каждую ненелю и задачи в конце По практике: две лекции на 49 минут по заданным темам с голосованием

Литература

1. Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
2. Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
3. Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии, 2013, 2 : 11-15.
4. Bakhteev O.Y., Strijov V.V. Deep learning model selection of suboptimal complexity // Automation and Remote Control, 2018, 79(8) : 1474–1488.
5. Bakhteev O.Y., Strijov V.V. Comprehensive analysis of gradient-based hyperparameter optimization algorithmss // Annals of Operations Research, 2020 : 1-15.