Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)
Материал из MachineLearning.
Новое название: «Структурное обучение»
Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.
Введение
- Регрессионный анализ
- Регрессионная модель
- Подстановки в линейных моделях
- Авторегрессионные модели
- Примеры постановки задач регрессионного анализа (с. 47-53)
- Моделирование в финансовой математике
- Экспертно-статистические методы
- Обозначения
Линейные и существенно-нелинейные модели
- Линейная регрессия
- Метод наименьших квадратов
- Нелинейная регрессия
- Часто используемые регрессионные модели
- Матрица Якоби и Гессе
- Метод Ньютона
- Алгоритм Левенберга-Марквардта
- Ранговая регрессия
Линейные методы
- Метод главных компонент
- Максимальное правдоподобие МГК (К.С.)
- Байесовский МГК (+)
- МГК для нелинейных моделей (+)
- Сингулярное разложение
- Простой итерационный алгоритм сингулярного разложения
Обобщенно-линейные модели
- Гипотеза порождения данных
- Первый уровень Байесовского вывода (там же)
- Логистическая регрессия
- Метод Ньютона-Рафсона
- Методы оценки параметров моделей
Методы сэмплирования
- Интегрирование Монте-Карло
- Методы преобразования равномерного распределения
- Сэмплирование с отклонением
- Сэмплирование по значимости
- Гиббсовское сэмплирование
- Сэмплирование Метрополиса-Хастингса
- Использование результатов (М.Ю.)
Критерии качества моделей
(при отсутствии гипотезы порождения данных)
Требования к моделям
- Анализ регрессионных остатков, пример
- Фактор инфляции дисперсии
- Устойчивость моделей
- Метод Белсли
- Анализ мультиколлинеарности
- Анализ регрессионных остатков, пример и отчет
Методы выбора признаков
- Переборные алгоритмы
- МГУА
- Регуляризация
- Шаговая регрессия
- Алгоритмы с регуляризацией
- Алгоритмы направленного добавления FOS, Stagewise, LARS
- Оптимальное прореживание
Сравнение моделей
- Второй уровень Байесовского вывода, множитель Оккама
- Принцип минимальной длины описания
- Аппроксимация Лапласа
- Оценка гиперпараметров
- Эмпирическая функция правдоподобия и аппроксимация Лапласа
- Постановка задач выбора моделей
Мультимоделирование и смеси экспертов
читать К. Бишоп, с. 653-676
- Байесовское усреднение моделей
- Смеси распределений
- Смеси линейных моделей (К.П.)
- Смеси обобщенно-линейных моделей (+)
- Смеси экспертов (+)
- Иерархические модели
См. также
Практика
Практика состоит из трех задач-эссе с отчетом, включающим постановку задачи, описание алгоритма и вычислительный эксперимент-иллюстрацию. Практика и доклад выполняются в формате «Численные методы».
Практику необходимо сдать до начала экзамена.
- Подробнее: Группа 674, осень 2011
Экзамен
Экзамен - письменная работа состоит из 50 вопросов или задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов. Общая оценка складывается из оценки за практику — 3 балла (з.е. в ведомости), оценка за экзамен из отрезка [0, 100] дает 1 балл, а отрезок [68, 100] линейно отображается в отрезок [0,6]. Итого максимальная оценка 3+1+6 = 10.
Практика
- 28 сентября и 5 октября
- 26 октября и 2 ноября
- 23 и 30 ноября
Теория
- 14 декабря 2011, группа 674, ауд. 355; список вопросов будет опубликован по окончании экзамена при условии полной явки.
История
Предшествующие программы и практические задания
- Группа 674, осень 2011
- Группа 574, осень 2010 (то же)
- Группа 474, осень 2009
- Группа 374, осень 2008
- Группа 274, осень 2007
- Группа 174, осень 2006
Разное
- Сложность моделей
- Гауссовские процессы
- Оптимизация правдоподобия
- Метод Белсли и анализ ковариационных матриц для нелинейных моделей
- Оценка гиперпараметров для произвольной гипотезы порождения данных
- Графические модели
- Байесовские сети
- Расстояние Кулльбака-Лейблера
- Расстояние между моделями
- Инварианты в пространстве параметров моделей
Порождение моделей
- Методы порождения моделей
- Структурная сложность
- Структурное расстояние
- Порождение моделей МГУА
- Порождение нейронных сетей и RBF
- Последовательное порождение всех допустимых моделей данного класса возрастающей сложности
- Порождение моделей, принадлежащих заданному индуктивно-порождаемому классу моделей, случайным образом
Выпадает из курса, перенести в практику
- Многокритериальный выбор моделей
- Постановка задач многокритериальной оптимизации
- Сведение многокритериальной оптимизации к однокритериальной (Weber)
- Парето-оптимальный фронт
- Алгоритмы многокритериальной оптимизации
