Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 474, осень 2009
Материал из MachineLearning.
|
Московский физико-технический институт, Факультет управления и прикладной математики
Курс читается студентам 6-го курса кафедры "Интеллектуальные системы"
История
Курс, особенно прикладная часть, изменяется ежегодно. См. материалы прошлых лет:
- Прикладной регрессионный анализ (курс лекций, B.В.Стрижов, 2008)
- Прикладная регрессия и оптимизация (курс лекций, B.В.Стрижов)
- Информационное моделирование, программа курса (осень 2007)
- Прикладная регрессия и оптимизация, программа курса (осень 2006)
Также см. статьи в разделе
Практика
Создание библиотеки алгоритмов выбора линейных моделей | Кирилл Чувилин, Екатерина Крымова |
Создание библиотеки алгоритмов выбора нелинейных моделей | Елена Ежова, Андрей Гущин |
Построение системы порождения и выбора моделей | Николай Разин, Александр Фрей |
Создание библиотеки алгоритмов конструктивного порождения моделей | Александр Фрей, Николай Разин |
Создание алгоритмов последовательной модификации моделей | Welcome! |
Порождение и выбор авторегрессионных моделей | Ирина Лебедева |
Порождение и выбор моделей классификации | Welcome! |
Задания
- Зарегистрироваться в репозитории sourceforge и прислать свой ник на электронную почту Константину Скипору.
- Составить список участников и список рецензентов (по два рецензента на каждого участника).
- Ознакомиться со списоком материалов по практике.
- Ознакомиться с приемами работы в Matlabе.
- Изучить структуры данных Matlaba.
- Прочесть Matlab Style Guide.
- Получить алгебраическое выражение для инвертированного метода сортировки [1].
- Прочесть IDEF0.
- Прочесть CRISPWP-DM.
Полезные ссылки
- Отчет о выполнении исследовательского проекта
- Отчет о выполнении вычислительного эксперимента
- Примеры отчетов об экспериментах: пример 1, пример 2
- Введение в Матлаб
- Документирование функций Matlab
- Matlab Programming Style Guidelines (pdf)
- Работа с репозиторием SourceForge.net
- Корневая папка репозитория SourceForge/mlalgorithms
- Протокол рецензирования программных систем (временная ссылка)
- Шаблон отчета о выполнении исследовательского проекта (временная ссылка)
- Шаблон описания программной системы systemdocs.doc (doc)
- Описание стандарта IDEF0 (pdf)
- Описание стандарта CRISP-DM (pdf)
- Оценка гиперпараметров нелинейнных регрессионных моделей (pdf)
Экзамен
- 19 января в 10:30 ауд. 355.
I. Теория
- Регрессионный анализ, регрессионная модель, линейная регрессия, МНК, МГУА.
- Сингулярное разложение, метод главных компонент, регуляризация.
- Методы выбора линейных моделей Lasso, LARS, Optimal brain surgery.
- Построение интегральных индикаторов «без учителя» и «с учителем», согласование экспертных оценок в линейных и ранговых шкалах.
- Связанный Байесовский вывод, вычисление гиперпараметров.
- Аппроксимация Лапласа, нелинейная регрессия, метод Левенберга-Марквардта.
II. Практика
- Стандарт IDEF0 в проектировании архитектур программных систем.
- Стандарт анализа данных CRISP-DM.
- Содержание отчета об исследовательском проекте.
- Организация вычислительного эксперимента и отчет.
- Основные структуры данных Matlab.
- Соглашение о документировании функций Matlab.
- Стилевые соглашения Matlab.
- Описание программной системы systemdocs.
III. Задачи
- Индексное описание многослойного МГУА с выбором пар признаков на каждом слое.
- Постановка регрессионной задачи построения модели улыбки волатильности.
- Постановка регрессионной задачи прогнозирования временных рядов с выраженной периодикой.
- Дана выборка – множество пар измерений координат окружности, выполненных с некоторой случайной аддитивной ошибкой. Требуется методом наименьших квадратов найти центр и радиус этой окружности.
- Есть измерения координат границ плоских и объемных физических тел (несложной формы), сделанные с ошибкой. Предложить примеры моделирования форм этих тел с помощью методов линейной регрессии, поставить задачу.
- Показать, что согласованные оценки интегральных индикаторов и весов показателей, полученные линейным алгоритмом, существуют, единственны, удовлетворяют требованиям согласованности.
- Вывести оценку весов показателей гамма-согласования как минимум суммы квадратов расстояний между выставленной и вычисленной оценками в пространствах оценок интегральных индикаторов и весов показателей.
- Показать, что сингулярные числа матрицы— это длины осей эллипсоида, заданного линейным отображением векторов с Евклидовой длиной равной единице; показать, что первое сингулярное число матрицы — это ее Евклидова норма; показать, что число обусловленности матрицы
есть квадрат числа обусловленности матрицы
.