Прикладной регрессионный анализ (курс лекций, B.В.Стрижов, 2009)

Материал из MachineLearning.

Статья предназначена прежде всего для студентов группы 474, она будет наполняться в течение этого семестра.

Содержание 1 История 2 Практика 3 Задания 4 Полезные ссылки 5 Экзамен 5.1 I. Теория 5.2 II. Практика 5.3 III. Задачи

Московский физико-технический институт, Факультет управления и прикладной математики

Курс читается студентам 6-го курса кафедры "Интеллектуальные системы"

История

Курс, особенно прикладная часть, изменяется ежегодно. См. материалы прошлых лет:

• Прикладной регрессионный анализ (курс лекций, B.В.Стрижов, 2008)
• Прикладная регрессия и оптимизация (курс лекций, B.В.Стрижов)
• Информационное моделирование, программа курса (осень 2007)
• Прикладная регрессия и оптимизация, программа курса (осень 2006)

Также см. статьи в разделе

• Регрессионный анализ

Практика

Создание библиотеки алгоритмов выбора линейных моделей	Кирилл Чувилин, Екатерина Крымова
Создание библиотеки алгоритмов выбора нелинейных моделей	Welcome!
Построение системы порождения и выбора моделей	Николай Разин, Александр Фрей
Создание библиотеки алгоритмов конструктивного порождения моделей	Александр Фрей, Николай Разин
Создание алгоритмов последовательной модификации моделей	Welcome!
Порождение и выбор авторегрессионных моделей	Ирина Лебедева
Порождение и выбор моделей классификации	Welcome!

Задания

1. Зарегистрироваться в репозитории sourceforge и прислать свой ник на электронную почту Константину Скипору.
2. Составить список участников и список рецензентов (по два рецензента на каждого участника).
3. Ознакомиться со списоком материалов по практике.
4. Ознакомиться с приемами работы в Matlabе.
5. Изучить структуры данных Matlaba.
6. Прочесть Matlab Style Guide.
7. Получить алгебраическое выражение для инвертированного метода сортировки [1].
8. Прочесть IDEF0.
9. Прочесть CRISPWP-DM.

Полезные ссылки

1. Отчет о выполнении исследовательского проекта
2. Отчет о выполнении вычислительного эксперимента
3. Примеры отчетов об экспериментах: пример 1, пример 2
4. Введение в Матлаб
5. Документирование функций Matlab
6. Matlab Programming Style Guidelines (pdf)
7. Работа с репозиторием SourceForge.net
8. Корневая папка репозитория SourceForge/mlalgorithms
9. Протокол рецензирования программных систем (временная ссылка)
10. Шаблон отчета о выполнении исследовательского проекта (временная ссылка)
11. Шаблон описания программной системы systemdocs.doc (doc)
12. Описание стандарта IDEF0 (pdf)
13. Описание стандарта CRISP-DM (pdf)
14. Оценка гиперпараметров нелинейнных регрессионных моделей (pdf)

Экзамен

• 15 декабря в 10:30 ауд. 355.

I. Теория

1. Регрессионный анализ, регрессионная модель, линейная регрессия, МНК, МГУА.
2. Сингулярное разложение, метод главных компонент, регуляризация.
3. Методы выбора линейных моделей Lasso, LARS, Optimal brain surgery.
4. Построение интегральных индикаторов «без учителя» и «с учителем», согласование экспертных оценок в линейных и ранговых шкалах.
5. Связанный Байесовский вывод, вычисление гиперпараметров.
6. Аппроксимация Лапласа, нелинейная регрессия, метод Левенберга-Марквардта.
7. Сложность моделей и Minimum Description Length.
8. Генеративный и дискриминативный выбор моделей.

II. Практика

1. Стандарт IDEF0 в проектировании архитектур программных систем.
2. Стандарт анализа данных CRISP-DM.
3. Содержание отчета об исследовательском проекте.
4. Организация вычислительного эксперимента и отчет.
5. Основные структуры данных Matlab.
6. Соглашение о документировании функций Matlab.
7. Стилевые соглашения Matlab.
8. Описание программной системы systemdocs.

III. Задачи

1. Индексное описание многослойного МГУА с выбором пар признаков на каждом слое.
2. Постановка регрессионной задачи построения модели улыбки волатильности.
3. Постановка регрессионной задачи прогнозирования временных рядов с выраженной периодикой.
4. Дана выборка – множество пар измерений координат окружности, выполненных с некоторой случайной аддитивной ошибкой. Требуется методом наименьших квадратов найти центр и радиус этой окружности.
5. Есть измерения координат границ плоских и объемных физических тел (несложной формы), сделанные с ошибкой. Предложить примеры моделирования форм этих тел с помощью методов линейной регрессии, поставить задачу.
6. Показать, что согласованные оценки интегральных индикаторов и весов показателей, полученные линейным алгоритмом, существуют, единственны, удовлетворяют требованиям согласованности.
7. Вывести оценку весов показателей гамма-согласования как минимум суммы квадратов расстояний между выставленной и вычисленной оценками в пространствах оценок интегральных индикаторов и весов показателей.
8. Показать, что сингулярные числа матрицы— это длины осей эллипсоида, заданного линейным отображением векторов с Евклидовой длиной равной единице; показать, что первое сингулярное число матрицы — это ее Евклидова норма; показать, что число обусловленности матрицы есть квадрат числа обусловленности матрицы .