Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)
Материал из MachineLearning.
Строка 1: | Строка 1: | ||
- | + | Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики. | |
- | Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики. | + | |
Предполагается, что слушатели владеют материалом курса [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|«Численные методы обучения по прецедентам»]] | Предполагается, что слушатели владеют материалом курса [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|«Численные методы обучения по прецедентам»]] | ||
+ | {{tip|Страница редактируется для группы 674 вплоль до 7 сентября 2011. --[[Участник:Strijov|Strijov]] 15:25, 21 июня 2011 (MSD)}} | ||
+ | |||
+ | {{TOCright}} | ||
== Введение == | == Введение == | ||
* Задача регрессионного анализа, терминология | * Задача регрессионного анализа, терминология | ||
Строка 82: | Строка 84: | ||
* Выбор базиса аппроксимации Лапласа | * Выбор базиса аппроксимации Лапласа | ||
- | == Сравнение моделей | + | == Сравнение моделей == |
* Графические модели | * Графические модели | ||
* Расстояние Кулльбака-Лейблера | * Расстояние Кулльбака-Лейблера | ||
Строка 91: | Строка 93: | ||
== Методы сэмплирования == | == Методы сэмплирования == | ||
- | |||
== Экзамен == | == Экзамен == | ||
Строка 111: | Строка 112: | ||
Начиная с осени 2010 практика по этому курсу переносится в раздел | Начиная с осени 2010 практика по этому курсу переносится в раздел | ||
* [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Численные методы обучения по прецедентам]] | * [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Численные методы обучения по прецедентам]] | ||
- | |||
- | |||
== Основная литература == | == Основная литература == | ||
== Дополнительная литература == | == Дополнительная литература == | ||
+ | |||
+ | [[Категория:Учебные курсы]] |
Версия 11:25, 21 июня 2011
Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.
Предполагается, что слушатели владеют материалом курса «Численные методы обучения по прецедентам»
Страница редактируется для группы 674 вплоль до 7 сентября 2011. --Strijov 15:25, 21 июня 2011 (MSD) |
Введение
- Задача регрессионного анализа, терминология
- Что такое регрессионная модель
- Примеры постановки задач регрессионного анализа
- Подстановки в линейных моделях
- Авторегрессионные модели
- Моделирование геометрических измерений
- Моделирование в финансовой математике
- Экспертно-статистические методы
Линейные модели
- Линейная регрессия
- Метод наименьших квадратов
- Нелинейная регрессия
- Основные модели нелинейной регрессии
- Матрица Якоби и Гессе
- Метод Ньютона
- Алгоритм Левенберга-Марквардта
- Ранговая регрессия
Линейные методы
- Сингулярное разложение
- Простой итерационный алгоритм сингулярного разложения
- Пространства, порождаемые сингулярными векторами
- Матричные нормы и обусловленность
- Метод главных компонент
- Анализ сингулярных структур
Обобщенные линейные модели
- Гипотеза порождения данных
- Логистическая регрессия
- Метод Ньютона-Рафсона
- Первый уровень Байесовского вывода
- Регуляризация
Критерии качества моделей
- Отсутвие гипотезы порождения данных
- Искусственные критерии качества моделей
- МГУА
- Скоринг и логистическая регрессия.
- Многокритериальный выбор моделей
- Постановка задач многокритериальной оптимизации.
- Сведение многокритериальной опптимизации к однокритериальной (найти метод Вилли)
- Парето-оптимальный фронт
- Алгоритмы многокритериальной оптимизации
Требования к моделям
- Анализ регрессионных оостатков
- Фактор инфляции дисперсии
- Метод Белсли
- Сложность моделей
- Устойчивость моделей
Порождение моделей
- Методы порождения моделей
- Структурная сложность
- Структурное расстояние
- Порождение моделей МГУА
- Порождение нейронных сетей и RBF
- Порождение всех допустимых моделей данного класса по возрастающей сложности (алгоритм последовательного порождения всевозможных моделей)
- Порождение моделей, принадлежащих заданному индуктивно-порождаемому набору (классу моделей) случайным образом
Методы выбора признаков
- Переборные алгоритмы
- Шаговая регрессия
- Алгоритмы с регуляризацией
- Алгоритмы направленного добавления FOS, Stagewise, LARS
- Оптимальное прореживание
- Оптимизация правдоподобия
Сравнение моделей
- Второй уровень Байесовского вывода
- Фактор Оккама
- Принцип минимальной длины описания
- Аппроксимация Лапласа
- Оценка гиперпараметров
- Выбор базиса аппроксимации Лапласа
Сравнение моделей
- Графические модели
- Расстояние Кулльбака-Лейблера
- Вероятностная сходимость
- Расстояние между моделями.
Смесь экспертов
Методы сэмплирования
Экзамен
Экзамен состоит из двух частей: доклад о выполнении практики и письменная работа по теории. Доклад выполняется в формате "Численные методы". Письменная работа состоит из 50 вопросов/задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов.
Практика
- 7 декабря 2011, группа 674: список тем
Теория
- 14 декабря 2011 группа 674: список задач
История
Предшествующие программы и практические задания
Начиная с осени 2010 практика по этому курсу переносится в раздел