Методы машинного обучения и поиск достоверных закономерностей в данных (курс лекций, О.В. Сенько)
Материал из MachineLearning.
(Различия между версиями)
(Новая: Специальный курс на ВМК МГУ. Лектор: д.ф.-м.н. О.В. Сенько. В курсе обсуждаются о...) |
|||
Строка 4: | Строка 4: | ||
В курсе обсуждаются основные проблемы, возникающие при использовании методов обучения по прецедентам (машинного обучения). Даётся краткий обзор существующих методов распознавания и регрессионного анализа. Рассказывается о способах оценки точности на генеральной совокупности (обобщающей способности). Обсуждаются различные способы повышения обобщающей способности методов машинного обучения. | В курсе обсуждаются основные проблемы, возникающие при использовании методов обучения по прецедентам (машинного обучения). Даётся краткий обзор существующих методов распознавания и регрессионного анализа. Рассказывается о способах оценки точности на генеральной совокупности (обобщающей способности). Обсуждаются различные способы повышения обобщающей способности методов машинного обучения. | ||
+ | |||
+ | [[Media:exam_program_tasks.pdf|Программа и примеры задач на экзамене]] | ||
== Программа курса == | == Программа курса == |
Текущая версия
Специальный курс на ВМК МГУ.
Лектор: д.ф.-м.н. О.В. Сенько.
В курсе обсуждаются основные проблемы, возникающие при использовании методов обучения по прецедентам (машинного обучения). Даётся краткий обзор существующих методов распознавания и регрессионного анализа. Рассказывается о способах оценки точности на генеральной совокупности (обобщающей способности). Обсуждаются различные способы повышения обобщающей способности методов машинного обучения.
Программа и примеры задач на экзамене
Программа курса
- Область применения методов, основанных на обучении по прецедентам (машинном обучении). Примеры применения. Понятие обучающей выборки. Способ обучения, основанный на минимизации эмпирического риска.
- Типы задач машинного обучения в зависимости от характера целевой переменной: распознавание, регрессионный анализ, анализ выживаемости
- Различные метрики для оценивания эффективности в задачах регрессионного анализа и в задачах распознавания. ROC анализ. Основные цели метода. Способ построения ROC кривых.
- Понятие обобщающей способности. Для каких алгоритмов достигается максимум обобщающей способности. Байесовский классификатор.
- Способы оценки обобщающей способности. Кросс-валидация.
- Эффект переобучения.
- Линейная регрессия. Использование метода наименьших квадратов для оценки коэффициентов. Оценка параметров одномерной регрессии.
- Поиск коэффициентов многомерной регрессии с помощью МНК. Формула для регрессионных коэффициентов. Явление мультиколлинеарности.
- Свойства оптимальных регрессий.
- Трёхкомпонентное разложение обобщённой ошибки. Смысл шумовой составляющей, составляющей сдвига и дисперсионной составляющей. Bias-Variance дилемма.
- Байесовские методы обучения. Аппроксимация с помощью многомерного нормального распределения. Способ обучения.
- Линейный дискриминант Фишера. Способ обучения.
- Метод k-ближайших соседей. Способ обучения.
- Логистическая регрессия. Способ обучения.
- Распознавание при заданной точности распознавания одного из классов. Оптимальное решение согласно лемме Неймана-Пирсона.
- Принцип частичной прецедентности. Понятие тупикового теста. Общая схема тестового алгоритма. Обобщение для вещественнозначной информации.
- Понятие тупикового представительного набора. Общая схема алгоритма распознавания, основанного на тупиковых представительных наборах. Обобщение для вещественнозначной информации.
- Модель Алгоритмов вычисления оценок. Понятия и опорного множества, функции близости, для вычисления оценок за классы. Компактные формулы для оценок в случае, когда признаки равноправны, а мощность опорных множеств фиксирована. Способы обучения для модели АВО.
- Модель искусственного нейрона. Пецептрон Розенблатта и метод его обучения, условие сходимости.
- Многослойный перцептрон и его структура. Аппроксимирующая способность многослойных перцептронов. Метод обратного распространения ошибки.
- Метод опорных векторов. Концепция максимального “зазора”. Сведение к задаче квадратичного программирования. Условия, налагаемые теоремой Каруша-Куна-Таккера. Двойственная задача квадратичного программирования. Опорные вектора и их роль в формирование распознающего алгоритма.
- Обобщение исходного варианта метода опорных векторов на случай отсутствия линейной разделимости. “Смягчение” условия линейной разделимости с помощью введения дополнительных переменных. Основные отличия от исходного варианта метода.
- Обобщение метода опорных векторов, позволяющее строить нелинейные разделяющие поверхности.
- Решающие деревья. Методы обучения. Индексы неоднородности. Критерии остановки ветвления. Методы “подрезки”.
- Коллективные методы. Обоснование. Ошибка выпуклой комбинации алгоритмов прогнозирования. Простые комитетные методы. Наивный Байесовский классификатор.
- Коллективные методы, основанные на бутстрэп репликациях. Методы бэггинг и бустинг.
- Решающие леса.
- Методы, основанные на голосовании по системам логических закономерностей. Полные и частичные логические закономерности. Методы поиска. Коллективное решение.
- Метод «Статистически взвешенные синдромы». Оптимальные разбиения в рамках фиксированных моделей. Коллективное решение.
- Методы кластеризации. Цели кластерного анализа. Метод k-внутригрупповых средних. Иерархические методы кластеризации.
- Введение в байесовские сети.
- Методы анализа выживаемости (надёжности). Оценки кривых выживаемости по методу Каплан-Майера. Модель Кокса.
- Верификация закономерностей. Перестановочные тесты.
- Проблема множественного тестирования