Прикладной регрессионный анализ (курс лекций, B.В.Стрижов, 2008)

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Московский физико-технический институт, Факультет управления и прикладной математики

Курс читается студентам 6-го курса кафедры "Интеллектуальные системы", специализация: "Интеллектуальный анализ данных", группа 374-а.


Статья предназначена прежде всего для студентов группы 374-а, она будет наполняться в течение этого семестра.


Аннотация

Курс лекций включает теоретические и прикладные аспекты создания моделей нелинейной регрессии и алгоритмов оптимизации качества этих моделей. Рассматриваются современные алгоритмы индуктивного порождения регрессионных моделей. Приводятся примеры использования алгоритмов при решении прикладных задач в финансовой математике, экологии и медицине.

Организационная часть

Семестровый курс содержит 32 часа лекций и 32 часа практических занятий. В ходе лекций будут объявляться темы практических заданий. После выбора темы обсуждаются требования к работе. До начала экзамена нужно сдать все задания по практике. Экзамен состоит из теоретических вопросов и задач.

Дополнительный материал

Задачи для самостоятельного решения

Задачи вынесенне из курса лекций, так как решались ранее в курсах линейной алгебры или математической статистики

  1. Вывести нормальное уравнение МНК через квадратичную оптимизацию.
  2. Вывести нормальное уравнение через проекцию на пространство столбцов матрицы.
  3. Показать что матрица, проектирующая вектор на свое пространство столбцов симметрична и идемпотентна.
  4. Показать что если матрица удовлетворяет условиям задачи 3, то она проектирует вектор на свое пространство столбцов (доп.).
  5. Показать что матрица A^TA симметрична и положительно определена.
  6. Сколько мономов полинома Колмогорова-Габора от m переменных имеют степень не превосходящую R (с повторами переменных в мономах и без повторов)?
  7. Показать, что оценки интегральных индикаторов и весов показателей, полученные альфа-согласованием являются согласованными.
  8. Вывести оценку весов показателей гамма-согласования как минимум суммы квадратов расстояний между выставленной и вычисленной оценками в пространствах оценок интегральных индикаторов и весов показателей.
  9. Показать, что сингулярные числа матрица A - это длины осей эллипсоида, заданного множеством \{A\mathbf{x}: \|\mathbf{x}\|=1\}.
  10. Показать, что первое сингулярное число матрицы - это ее Евклидова норма.
  11. Показать, что число обусловленности матрицы A^TA есть квадрат числа обусловленности матрицы A. Заметка: число обусловленности матрицы - \kappa(A)=\|A\|\|A^{-1}\|=\lambda_1/\lambda_n.
  12. Записать алгоритм итеративого нахождения сингулярного разложения.

Задачи на понимание методов регрессионного анализа

  1. Дана выборка - множество \{(u_i,v_i)\}, i=1,\ldots,M измерений координат окружности (O,r), где O=(u_O, v_O), выполненных с некоторой случайной аддитивной ошибкой. Требуется методом наименьших квадратов найти центр и радиус этой окружности.
  2. (продолжение) Применим ли метод решения этой задачи для сферы?
  3. (продолжение) Есть измерения координат границ плоских и объемных физических тел (несложной формы), сделанные с ошибкой. Предложите примеры моделирования форм этих тел с помощью методов наименьших квадратов.
  4. Даны два вектора \mathbf{u}, \mathbf{v} в пространстве \mathbb{R}^N. Требуется приблизить вектор \mathbf{v} вектором \mathbf{u}, так что \|\mathbf{u}-f(\mathbf{w},\mathbf{v})\|^2\to\min. Поставить и решить задачу линейной регрессии (пусть модель будет квадратичным полиномом, \mathbf{w} - вектор параметров).

Рекомендуемые примеры

  1. Часто используемые конструкции языка m
  2. Советы по оформлению отчетов
  3. Метод наименьших квадратов
  4. MVR Composer, порождение нелинейных регрессионых моделей

План лекций

Лекция 1

Организация курса, организация практических занятий, план лекций, обзор литературы по предмету, обзор программного обеспечения, введение в программирование задач регрессионного анализа.

Лекция 2

Введение в регрессионный анализ, постановка задачи, терминология, регрессионная модель, линейные модели, метод наименьших квадратов, два вывода нормального уравнения, подстановки и нахождение параметров линейной регрессионной модели, пример построения линейной регрессии: линейная, квадратичная и нелинейная функции, пример: биржевые опционы и улыбка волатильности, построение многомерной регрессионной модели.

Лекция 3

Метод группового учета аргументов. Постановка задачи с использованием порождающих функций (безпараметрических нелинейных подстановок). Базовая модель. Алгоритм МГУА. Комбинаторный алгоритм. Многослойный алгоритм. Внутренние и внешние критерии

Лекция 4

Построение интегральных индикаторов. Требования к исходым данным. Подготовка данных. Парето-расслоение. Экспертно-статистический метод. Метод главных компонент. Альфа и гамма — согласование экспертных оценок. Согласование оценок, выставленных в ранговых шкалах.

Литература

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9F%D1%80%D0%B8%D0%BA%D0%BB%D0%B0%D0%B4%D0%BD%D0%BE%D0%B9_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_B.%D0%92.%D0%A1%D1%82%D1%80%D0%B8%D0%B6%D0%BE%D0%B2%2C_2008%29»
Личные инструменты