Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)

Материал из MachineLearning.

Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.

Содержание 1 Введение 2 Линейные и существенно-нелинейные модели 3 Линейные методы 4 Обобщенно-линейные модели 5 Методы сэмплирования 6 Критерии качества моделей 7 Требования к моделям 8 Методы выбора признаков 9 Сравнение моделей 10 Мультимоделирование и смеси экспертов 11 См. также 12 Практика 13 Экзамен 14 История 15 На будущее 16 Не обсуждалось: Порождение моделей 17 Выпадает из курса, перенести в практику

Введение

• Регрессионный анализ
• Регрессионная модель
• Подстановки в линейных моделях
• Авторегрессионные модели
• Примеры постановки задач регрессионного анализа (с. 47-53)
• Моделирование в финансовой математике
• Экспертно-статистические методы
• Обозначения

Линейные и существенно-нелинейные модели

• Линейная регрессия
• Метод наименьших квадратов
• Нелинейная регрессия
• Часто используемые регрессионные модели
• Матрица Якоби и Гессе
• Метод Ньютона
• Алгоритм Левенберга-Марквардта
• Ранговая регрессия

Линейные методы

• Метод главных компонент
• Максимальное правдоподобие МГК (К.С.)
• Байесовский МГК (+)
• МГК для нелинейных моделей (+)
• Сингулярное разложение
• Простой итерационный алгоритм сингулярного разложения

Обобщенно-линейные модели

• Гипотеза порождения данных
• Первый уровень Байесовского вывода (там же)
• Логистическая регрессия
• Метод Ньютона-Рафсона
• Методы оценки параметров моделей

Методы сэмплирования

• Интегрирование Монте-Карло
• Методы преобразования равномерного распределения
• Сэмплирование с отклонением
• Сэмплирование по значимости
• Гиббсовское сэмплирование
• Сэмплирование Метрополиса-Хастингса
• Использование результатов (М.Ю.)

Критерии качества моделей

(при отсутствии гипотезы порождения данных)

• Искусственные критерии качества моделей
• Скоринг и логистическая регрессия

Требования к моделям

• Анализ регрессионных остатков, пример
• Фактор инфляции дисперсии
• Устойчивость моделей
• Метод Белсли
• Анализ мультиколлинеарности
• Анализ регрессионных остатков, пример и отчет

Методы выбора признаков

• Переборные алгоритмы
• МГУА
• Регуляризация
• Шаговая регрессия
• Алгоритмы с регуляризацией
• Алгоритмы направленного добавления FOS, Stagewise, LARS
• Оптимальное прореживание

Сравнение моделей

• Второй уровень Байесовского вывода, множитель Оккама
• Принцип минимальной длины описания
• Аппроксимация Лапласа
• Оценка гиперпараметров
• Эмпирическая функция правдоподобия и аппроксимация Лапласа
• Постановка задач выбора моделей

Мультимоделирование и смеси экспертов

читать К. Бишоп, с. 653-676

• Байесовское усреднение моделей
• Смеси распределений
• Смеси линейных моделей
• Смеси обобщенно-линейных моделей
• Смеси экспертов
• Иерархические модели
• Инварианты в пространстве параметров моделей

См. также

Лекции MVR Лекции DBMA

Практика

Практика состоит из трех задач-эссе с отчетом, включающим постановку задачи, описание алгоритма и вычислительный эксперимент-иллюстрацию. Практика и доклад выполняются в формате «Численные методы».

Практику необходимо сдать до начала экзамена.

• Подробнее: Группа 674, осень 2011

Экзамен

Экзамен - письменная работа состоит из 50 вопросов или задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов. Общая оценка складывается из оценки за практику — 3 балла (з.е. в ведомости), оценка за экзамен из отрезка [0, 100] дает 1 балл, а отрезок [68, 100] линейно отображается в отрезок [0,6]. Итого максимальная оценка 3+1+6 = 10.

Практика

• 28 сентября и 5 октября
• 26 октября и 2 ноября
• 23 и 30 ноября

Теория

• 14 декабря 2011, группа 674, ауд. 355; список задач будет опубликован по окончании экзамена при условии полной явки.

История

Предшествующие программы и практические задания

• Группа 474, осень 2009
• Группа 374, осень 2008
• Группа 274, осень 2007
• Группа 174, осень 2006

Начиная с осени 2010 старая практика переносится в раздел

• Численные методы обучения по прецедентам

На будущее

• Сложность моделей (нужно ли)
• Гауссовские процессы (нужно ли)
• Оптимизация правдоподобия (после выхода работы)
• Метод Белсли и анализ ковариационных матриц для нелинейных моделей (то же)
• Оценка гиперпараметров для произвольной гипотезы порождения данных (то же)
• Графические модели (нужно ли)
• Байесовские сети
• Расстояние Кулльбака-Лейблера
• Расстояние между моделями (после выхода работы)
• Инварианты в пространстве параметров моделей (то же)

Не обсуждалось: Порождение моделей

• Методы порождения моделей
• Структурная сложность
• Структурное расстояние
• Порождение моделей МГУА
• Порождение нейронных сетей и RBF
• Последовательное порождение всех допустимых моделей данного класса возрастающей сложности
• Порождение моделей, принадлежащих заданному индуктивно-порождаемому классу моделей, случайным образом

Выпадает из курса, перенести в практику

• Многокритериальный выбор моделей
• Постановка задач многокритериальной оптимизации
• Сведение многокритериальной оптимизации к однокритериальной (Weber)
• Парето-оптимальный фронт
• Алгоритмы многокритериальной оптимизации