Материал из MachineLearning.

Версия 21:53, 10 декабря 2015 (править) Victor Kitov (Обсуждение | вклад) (→Кластеризация.) ← К предыдущему изменению		Версия 21:54, 10 декабря 2015 (править) (отменить) Victor Kitov (Обсуждение | вклад) (→Второй семестр) К следующему изменению →
Строка 60:		Строка 60:
	==Второй семестр==		==Второй семестр==
		+
		+	===Кластеризация.===
		+	Графовый подход к кластеризации. Иерархическая кластеризация. Спектральная кластеризация. Метрики оценки кластеризации.
		+
	===Нейросети.===		===Нейросети.===

---

Версия 21:54, 10 декабря 2015

Содержание 1 Программа курса 1.1 Первый семестр 1.1.1 Основные понятия и примеры прикладных задач. 1.1.2 Метрические методы регрессии и классификации. 1.1.3 Методы решающих деревьев. 1.1.4 Оценивание моделей. 1.1.5 Классификация линейными методами. 1.1.6 Линейная и нелинейная регрессия. 1.1.7 Обобщение методов через ядра. 1.1.8 Байесовская теория классификации. 1.1.9 Методы работы с пропущенными данными. Метод наивного Байеса. 1.1.10 Моделирование смесью распределений. 1.1.11 Ядерное сглаживание для оценки плотности. 1.1.12 Кластеризация. 1.2 Второй семестр 1.2.1 Кластеризация. 1.2.2 Нейросети. 1.2.3 Глубинное обучение. 1.2.4 Методы отбора признаков. 1.2.5 Ансамбли алгоритмов. 1.2.6 Ансамбли алгоритмов (продолжение). 1.2.7 Линейные методы снижения размерности. 1.2.8 Нелинейные методы снижения размерности. 1.2.9 Коллаборативная фильтрация. 1.2.10 Online machine learning. 1.2.11 Теория переобучения и оценки обобщающей способности прогнозирующих алгоритмов. 1.2.12 Оптимизация процесса построения модели. Active learning. 1.2.13 Reinforcement learning.

Машинное обучение (англ. machine learning) - наука об алгоритмах, которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их компактного описания, визуализации и последующего предсказания новых аналогичных данных. Наука является сравнительно молодой, поскольку многие алгоритмы автоматической настройки на данных являются вычислительно трудоемкими, и их применение стало возможным только с появлением высокопроизводительных вычислительных средств. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также подробно рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений.

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа и теории вероятностей. Знание математической статистики, методов оптимизации и какого-либо языка программирования желательно, но не обязательно.

Курс во многом пересекается с курсом К.В.Воронцова по машинному обучению, с которым также рекомендуется ознакомиться.

Программа курса

Первый семестр

Основные понятия и примеры прикладных задач.

Скачать презентацию

Метрические методы регрессии и классификации.

Скачать презентацию
Скачать презентацию (продолжение)

Методы решающих деревьев.

Скачать презентацию
Скачать презентацию (продолжение)

Оценивание моделей.

Скачать презентацию

Классификация линейными методами.

Скачать презентацию
Скачать презентацию (продолжение)

Линейная и нелинейная регрессия.

Скачать презентацию (обновлена 05.11.2015)

Обобщение методов через ядра.

Скачать презентацию

Байесовская теория классификации.

Байесовский алгоритм классификации, минимизирующий цену. Случай одинаковых цен. Дискриминативные и генеративные модели. Частотный и байесовский подходы к оцениванию неизвестных параметров. Генеративные модели классификации с гауссовскими внутриклассовыми распределениями: модели LDA, QDA и RDA (QDA с регуляризацией), а также виды упрощающих предположений о матрице внутриклассовых ковариаций. - было на лекции 19.11.2015.

Методы работы с пропущенными данными. Метод наивного Байеса.

+мультиномиальная/биномиальная модель наивного Байеса для классификации текстов и преобразование TF-IDF. +разложение ожидаемого квадрата ошибки на смещение и дисперсию (bias-variance tradeoff). - было на лекции 26.11.2015.

Моделирование смесью распределений.

EM-алгоритм. Доказательство неубывания правдоподобия для EM-алгоритма. Вывод EM-алгоритма для смеси нормальных распределений в векторном случае. Подходы к определению числа компонент. - было на лекции 03.12.2015.

Ядерное сглаживание для оценки плотности.

Кластеризация.

+K-средних. Инициализация EM-алгоритма кластеризацией. Мягкая кластеризация через EM-алгоритм.

Второй семестр

Кластеризация.

Графовый подход к кластеризации. Иерархическая кластеризация. Спектральная кластеризация. Метрики оценки кластеризации.

Нейросети.

Глубинное обучение.

+Различные виды автоэнкодеров.

Методы отбора признаков.

Ансамбли алгоритмов.

Ансамбли алгоритмов (продолжение).

Линейные методы снижения размерности.

PCA, SVD разложения.

Нелинейные методы снижения размерности.

Коллаборативная фильтрация.

Online machine learning.

Теория переобучения и оценки обобщающей способности прогнозирующих алгоритмов.

Оптимизация процесса построения модели. Active learning.

Reinforcement learning.