Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)
Материал из MachineLearning.
м (→Лекции: слайды) |
|||
(18 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
+ | Новое название: «Структурное обучение» | ||
+ | |||
Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики. | Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики. | ||
- | |||
- | |||
- | |||
{{TOCright}} | {{TOCright}} | ||
== Введение == | == Введение == | ||
- | * | + | * [[Регрессионный анализ]] |
- | * | + | * [[Регрессионная модель]] |
- | * | + | * [[Линейная регрессия (пример)|Подстановки в линейных моделях]] |
- | + | * [https://mlalgorithms.svn.sourceforge.net/svnroot/mlalgorithms/Leonteva2011ElectricityConsumption/doc/Leonteva2011ElectricityConsumption.pdf Авторегрессионные модели] | |
- | * Авторегрессионные модели | + | * [[Media:strijov08ln.pdf|Примеры постановки задач регрессионного анализа]] (с. 47-53) |
- | * | + | * [https://dmba.svn.sourceforge.net/svnroot/dmba/Slides/DMBA_Part13_Energy,Options.pdf Моделирование в финансовой математике] |
- | * Моделирование в финансовой математике | + | * [https://dmba.svn.sourceforge.net/svnroot/dmba/Slides/DMBA_Part4,5_Indicators.pdf Экспертно-статистические методы] |
- | * Экспертно-статистические методы | + | * [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Рекомендуемые обозначения|Обозначения]] |
- | + | ||
== Линейные и существенно-нелинейные модели == | == Линейные и существенно-нелинейные модели == | ||
- | * Линейная регрессия | + | * [[Линейная регрессия]] |
- | * Метод наименьших квадратов | + | * [[Метод наименьших квадратов]] |
- | * Нелинейная регрессия | + | * [[Нелинейная регрессия]] |
- | * | + | * [[Часто используемые регрессионные модели]] |
- | * Матрица Якоби и Гессе | + | * [[Вычисление матриц Якоби и Гессе|Матрица Якоби и Гессе]] |
- | * Метод Ньютона | + | * [http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0#.D0.9C.D0.B5.D1.82.D0.BE.D0.B4_.D0.93.D0.B0.D1.83.D1.81.D1.81.D0.B0_.E2.80.94_.D0.9D.D1.8C.D1.8E.D1.82.D0.BE.D0.BD.D0.B0 Метод Ньютона] |
- | * Алгоритм Левенберга-Марквардта | + | * [[Алгоритм Левенберга-Марквардта]] |
- | * Ранговая регрессия | + | * [[Media:Kuznetsov2011trudi.pdf|Ранговая регрессия]] |
== Линейные методы == | == Линейные методы == | ||
- | * Метод главных компонент | + | * [[Метод главных компонент]] |
- | * Максимальное правдоподобие МГК | + | * Максимальное правдоподобие МГК (К.С.) |
- | * Байесовский МГК | + | * Байесовский МГК (+) |
- | * МГК для нелинейных моделей | + | * МГК для нелинейных моделей (+) |
- | * Сингулярное разложение | + | * [[Сингулярное разложение]] |
- | * Простой итерационный алгоритм сингулярного разложения | + | * [[Простой итерационный алгоритм сингулярного разложения]] |
- | + | ||
- | + | ||
- | + | ||
== Обобщенно-линейные модели == | == Обобщенно-линейные модели == | ||
- | * Гипотеза порождения данных | + | * [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/Part1%60DataGeneration.pdf Гипотеза порождения данных] |
- | * Логистическая регрессия | + | * Первый уровень Байесовского вывода (там же) |
- | * Метод Ньютона-Рафсона | + | * [[Логистическая регрессия]] |
- | * | + | * [[Логистическая регрессия (пример)|Метод Ньютона-Рафсона]] |
- | + | * [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/Part2%60ParameterEstimation.pdf Методы оценки параметров моделей] | |
- | + | ||
== Методы сэмплирования == | == Методы сэмплирования == | ||
- | * Интегрирование Монте-Карло | + | * [http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%9C%D0%BE%D0%BD%D1%82%D0%B5-%D0%9A%D0%B0%D1%80%D0%BB%D0%BE Интегрирование Монте-Карло] |
* Методы преобразования равномерного распределения | * Методы преобразования равномерного распределения | ||
- | * Сэмплирование с отклонением | + | * [http://ru.wikipedia.org/wiki/%D0%92%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%B0_%D1%81_%D0%BE%D1%82%D0%BA%D0%BB%D0%BE%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%D0%BC Сэмплирование с отклонением] |
- | * Сэмплирование по значимости | + | * [http://ru.wikipedia.org/wiki/%D0%92%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%B0_%D0%BF%D0%BE_%D0%B7%D0%BD%D0%B0%D1%87%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D0%B8 Сэмплирование по значимости] |
- | * Гиббсовское сэмплирование | + | * [http://en.wikipedia.org/wiki/Gibbs_sampling Гиббсовское сэмплирование] |
- | * Сэмплирование Метрополиса-Хастингса | + | * [http://en.wikipedia.org/wiki/Metropolis-Hastings_algorithm Сэмплирование Метрополиса-Хастингса] |
- | * Использование результатов | + | * Использование результатов (М.Ю.) |
== Критерии качества моделей == | == Критерии качества моделей == | ||
- | + | (при отсутствии гипотезы порождения данных) | |
- | * Искусственные критерии качества моделей | + | * [[Метод группового учёта аргументов|Искусственные критерии качества моделей]] |
- | * | + | * [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/Strijov2010Scoring_ANE.pdf Скоринг и логистическая регрессия] |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
== Требования к моделям == | == Требования к моделям == | ||
- | * Анализ регрессионных остатков | + | * [[Анализ регрессионных остатков]], [[Анализ регрессионных остатков (пример)|пример]] |
- | * Фактор инфляции дисперсии | + | * [[Фактор инфляции дисперсии]] |
- | * | + | * [[Исследование устойчивости оценок ковариационной матрицы параметров|Устойчивость моделей]] |
- | + | * [[Метод Белсли]] | |
- | * Метод Белсли | + | * [[Анализ мультиколлинеарности (пример)|Анализ мультиколлинеарности]] |
- | * | + | * [[Анализ регрессионных остатков]], [[Анализ регрессионных остатков (пример)| пример]] и [[Статистический отчет при создании моделей|отчет]] |
- | == | + | == [[Media:Strijov-Krymova10Model-Selection.pdf|Методы выбора признаков]] == |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
* Переборные алгоритмы | * Переборные алгоритмы | ||
+ | * МГУА | ||
+ | * Регуляризация | ||
* Шаговая регрессия | * Шаговая регрессия | ||
* Алгоритмы с регуляризацией | * Алгоритмы с регуляризацией | ||
* Алгоритмы направленного добавления FOS, Stagewise, LARS | * Алгоритмы направленного добавления FOS, Stagewise, LARS | ||
* Оптимальное прореживание | * Оптимальное прореживание | ||
- | |||
== Сравнение моделей == | == Сравнение моделей == | ||
- | * Второй уровень Байесовского вывода | + | * [[Связанный Байесовский вывод|Второй уровень Байесовского вывода, множитель Оккама]] |
- | + | * [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/Part4%60ModelComplexity.pdf Принцип минимальной длины описания] | |
- | * Принцип минимальной длины описания | + | * [[Аппроксимация Лапласа]] |
- | * Аппроксимация Лапласа | + | * [https://mlalgorithms.svn.sourceforge.net/svnroot/mlalgorithms/Tokmakova2011HyperPar/doc/Tokmakova2011HyperPar.pdf Оценка гиперпараметров] |
- | * Оценка гиперпараметров | + | * [[Аппроксимация функции ошибки|Эмпирическая функция правдоподобия и аппроксимация Лапласа]] |
- | * | + | * [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/Part3%60ProblemStatement.pdf Постановка задач выбора моделей] |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
== Мультимоделирование и смеси экспертов == | == Мультимоделирование и смеси экспертов == | ||
+ | читать К. Бишоп, с. 653-676 | ||
* Байесовское усреднение моделей | * Байесовское усреднение моделей | ||
* Смеси распределений | * Смеси распределений | ||
- | * Смеси линейных моделей | + | * Смеси линейных моделей (К.П.) |
- | * Смеси обобщенно-линейных моделей | + | * Смеси обобщенно-линейных моделей (+) |
- | * Смеси экспертов | + | * Смеси экспертов (+) |
* Иерархические модели | * Иерархические модели | ||
- | |||
- | == | + | == См. также == |
- | + | [https://mvr.svn.sourceforge.net/svnroot/mvr/lectures/ Лекции MVR] | |
- | + | [https://dmba.svn.sourceforge.net/svnroot/dmba/Slides/ Лекции DBMA] | |
- | + | ||
- | + | ||
== Практика == | == Практика == | ||
Строка 137: | Строка 108: | ||
'''Теория''' | '''Теория''' | ||
- | * 14 декабря 2011, группа 674, ауд. 355; список | + | * 14 декабря 2011, группа 674, ауд. 355; список вопросов будет опубликован по окончании экзамена при условии полной явки. |
+ | [[Media:RegressionAnalysis2011Exam.pdf| Список вопросов, PDF]] | ||
== История == | == История == | ||
Предшествующие программы и практические задания | Предшествующие программы и практические задания | ||
+ | * [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 674, осень 2011 | Группа 674, осень 2011]] | ||
+ | * Группа 574, осень 2010 (то же) | ||
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 474, осень 2009 | Группа 474, осень 2009]] | * [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 474, осень 2009 | Группа 474, осень 2009]] | ||
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 374, осень 2008 | Группа 374, осень 2008]] | * [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 374, осень 2008 | Группа 374, осень 2008]] | ||
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 274, осень 2007 | Группа 274, осень 2007]] | * [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 274, осень 2007 | Группа 274, осень 2007]] | ||
* [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 174, осень 2006 | Группа 174, осень 2006]] | * [[Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 174, осень 2006 | Группа 174, осень 2006]] | ||
- | |||
- | |||
- | == | + | == Разное == |
+ | * Сложность моделей | ||
+ | * Гауссовские процессы | ||
+ | * Оптимизация правдоподобия | ||
+ | * Метод Белсли и анализ ковариационных матриц для нелинейных моделей | ||
+ | * Оценка гиперпараметров для произвольной гипотезы порождения данных | ||
+ | * Графические модели | ||
+ | * Байесовские сети | ||
+ | * Расстояние Кулльбака-Лейблера | ||
+ | * Расстояние между моделями | ||
+ | * Инварианты в пространстве параметров моделей | ||
+ | |||
+ | == Порождение моделей == | ||
+ | * Методы порождения моделей | ||
+ | * Структурная сложность | ||
+ | * Структурное расстояние | ||
+ | * Порождение моделей МГУА | ||
+ | * Порождение нейронных сетей и RBF | ||
+ | * Последовательное порождение всех допустимых моделей данного класса возрастающей сложности | ||
+ | * Порождение моделей, принадлежащих заданному индуктивно-порождаемому классу моделей, случайным образом | ||
+ | |||
+ | == Выпадает из курса, перенести в практику == | ||
+ | * Многокритериальный выбор моделей | ||
+ | * Постановка задач многокритериальной оптимизации | ||
+ | * Сведение многокритериальной оптимизации к однокритериальной (Weber) | ||
+ | * Парето-оптимальный фронт | ||
+ | * Алгоритмы многокритериальной оптимизации | ||
[[Категория:Учебные курсы]] | [[Категория:Учебные курсы]] |
Текущая версия
Новое название: «Структурное обучение»
Курс лекций «Прикладной регрессионный анализ» посвящен проблеме порождения и выбора регрессионных моделей и иллюстрирован практическими задачами. Он состоит из 12 лекций и рассчитан на слушателей, владеющих основами линейной алгебры и математической статистики.
Введение
- Регрессионный анализ
- Регрессионная модель
- Подстановки в линейных моделях
- Авторегрессионные модели
- Примеры постановки задач регрессионного анализа (с. 47-53)
- Моделирование в финансовой математике
- Экспертно-статистические методы
- Обозначения
Линейные и существенно-нелинейные модели
- Линейная регрессия
- Метод наименьших квадратов
- Нелинейная регрессия
- Часто используемые регрессионные модели
- Матрица Якоби и Гессе
- Метод Ньютона
- Алгоритм Левенберга-Марквардта
- Ранговая регрессия
Линейные методы
- Метод главных компонент
- Максимальное правдоподобие МГК (К.С.)
- Байесовский МГК (+)
- МГК для нелинейных моделей (+)
- Сингулярное разложение
- Простой итерационный алгоритм сингулярного разложения
Обобщенно-линейные модели
- Гипотеза порождения данных
- Первый уровень Байесовского вывода (там же)
- Логистическая регрессия
- Метод Ньютона-Рафсона
- Методы оценки параметров моделей
Методы сэмплирования
- Интегрирование Монте-Карло
- Методы преобразования равномерного распределения
- Сэмплирование с отклонением
- Сэмплирование по значимости
- Гиббсовское сэмплирование
- Сэмплирование Метрополиса-Хастингса
- Использование результатов (М.Ю.)
Критерии качества моделей
(при отсутствии гипотезы порождения данных)
Требования к моделям
- Анализ регрессионных остатков, пример
- Фактор инфляции дисперсии
- Устойчивость моделей
- Метод Белсли
- Анализ мультиколлинеарности
- Анализ регрессионных остатков, пример и отчет
Методы выбора признаков
- Переборные алгоритмы
- МГУА
- Регуляризация
- Шаговая регрессия
- Алгоритмы с регуляризацией
- Алгоритмы направленного добавления FOS, Stagewise, LARS
- Оптимальное прореживание
Сравнение моделей
- Второй уровень Байесовского вывода, множитель Оккама
- Принцип минимальной длины описания
- Аппроксимация Лапласа
- Оценка гиперпараметров
- Эмпирическая функция правдоподобия и аппроксимация Лапласа
- Постановка задач выбора моделей
Мультимоделирование и смеси экспертов
читать К. Бишоп, с. 653-676
- Байесовское усреднение моделей
- Смеси распределений
- Смеси линейных моделей (К.П.)
- Смеси обобщенно-линейных моделей (+)
- Смеси экспертов (+)
- Иерархические модели
См. также
Практика
Практика состоит из трех задач-эссе с отчетом, включающим постановку задачи, описание алгоритма и вычислительный эксперимент-иллюстрацию. Практика и доклад выполняются в формате «Численные методы».
Практику необходимо сдать до начала экзамена.
- Подробнее: Группа 674, осень 2011
Экзамен
Экзамен - письменная работа состоит из 50 вопросов или задач, за которые дается суммарная оценка в 100 баллов. Продолжительность работы — 1 час. Для получения положительной оценки за экзамен требуется набрать не менее 84 баллов. Общая оценка складывается из оценки за практику — 3 балла (з.е. в ведомости), оценка за экзамен из отрезка [0, 100] дает 1 балл, а отрезок [68, 100] линейно отображается в отрезок [0,6]. Итого максимальная оценка 3+1+6 = 10.
Практика
- 28 сентября и 5 октября
- 26 октября и 2 ноября
- 23 и 30 ноября
Теория
- 14 декабря 2011, группа 674, ауд. 355; список вопросов будет опубликован по окончании экзамена при условии полной явки.
История
Предшествующие программы и практические задания
- Группа 674, осень 2011
- Группа 574, осень 2010 (то же)
- Группа 474, осень 2009
- Группа 374, осень 2008
- Группа 274, осень 2007
- Группа 174, осень 2006
Разное
- Сложность моделей
- Гауссовские процессы
- Оптимизация правдоподобия
- Метод Белсли и анализ ковариационных матриц для нелинейных моделей
- Оценка гиперпараметров для произвольной гипотезы порождения данных
- Графические модели
- Байесовские сети
- Расстояние Кулльбака-Лейблера
- Расстояние между моделями
- Инварианты в пространстве параметров моделей
Порождение моделей
- Методы порождения моделей
- Структурная сложность
- Структурное расстояние
- Порождение моделей МГУА
- Порождение нейронных сетей и RBF
- Последовательное порождение всех допустимых моделей данного класса возрастающей сложности
- Порождение моделей, принадлежащих заданному индуктивно-порождаемому классу моделей, случайным образом
Выпадает из курса, перенести в практику
- Многокритериальный выбор моделей
- Постановка задач многокритериальной оптимизации
- Сведение многокритериальной оптимизации к однокритериальной (Weber)
- Парето-оптимальный фронт
- Алгоритмы многокритериальной оптимизации