Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)/Группа 474, осень 2009
Материал из MachineLearning.
(Различия между версиями)
(Новая: {{Main|Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)}} {{TOCright}} '''Московский физико-техническ...) |
(→Практика) |
||
(8 промежуточных версий не показаны.) | |||
Строка 6: | Строка 6: | ||
Курс читается студентам 6-го курса кафедры "Интеллектуальные системы" | Курс читается студентам 6-го курса кафедры "Интеллектуальные системы" | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
Строка 21: | Строка 12: | ||
| Создание библиотеки алгоритмов выбора линейных моделей | | Создание библиотеки алгоритмов выбора линейных моделей | ||
| Кирилл Чувилин, Екатерина Крымова | | Кирилл Чувилин, Екатерина Крымова | ||
+ | |[https://svn.code.sf.net/p/mlalgorithms/code/MIPT2006-2010OldProj/Krymova2009FeatureSelection/ Krymova2009FeatureSelection] | ||
|- | |- | ||
- | | | + | | Композиции нейронных сетей для задачи регрессии |
| Елена Ежова, Андрей Гущин | | Елена Ежова, Андрей Гущин | ||
+ | |[https://mlalgorithms.svn.sourceforge.net/svnroot/mlalgorithms/MIPT2006-2010OldProj/GushchinEzhova2009NeuralNet/ GushchinEzhova2009NeuralNet] | ||
|- | |- | ||
| Построение системы порождения и выбора моделей | | Построение системы порождения и выбора моделей | ||
| Николай Разин, Александр Фрей | | Николай Разин, Александр Фрей | ||
+ | |[https://svn.code.sf.net/p/mlalgorithms/code/MIPT2006-2010OldProj/Frey2007MVR/ FreyMVR] | ||
|- | |- | ||
| Создание библиотеки алгоритмов конструктивного порождения моделей | | Создание библиотеки алгоритмов конструктивного порождения моделей | ||
| Александр Фрей, Николай Разин | | Александр Фрей, Николай Разин | ||
- | |- | + | |[https://svn.code.sf.net/p/mlalgorithms/code/MIPT2006-2010OldProj/Frey2007MVR/ FreyMVR] |
- | + | ||
- | + | ||
|- | |- | ||
| Порождение и выбор авторегрессионных моделей | | Порождение и выбор авторегрессионных моделей | ||
| Ирина Лебедева | | Ирина Лебедева | ||
+ | |[https://mlalgorithms.svn.sourceforge.net/svnroot/mlalgorithms/MIPT2006-2010OldProj/Lebedeva2009Autoregression/ Lebedeva2009Autoregression] | ||
|- | |- | ||
- | |||
- | |||
|} | |} | ||
Строка 53: | Строка 44: | ||
== Полезные ссылки == | == Полезные ссылки == | ||
- | + | # См. статьи в разделе [[:Категория:Регрессионный анализ|Регрессионный анализ]] | |
# [[Отчет о выполнении исследовательского проекта (практика, В.В. Стрижов)|Отчет о выполнении исследовательского проекта]] | # [[Отчет о выполнении исследовательского проекта (практика, В.В. Стрижов)|Отчет о выполнении исследовательского проекта]] | ||
# [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Отчет о выполнении вычислительного эксперимента]] | # [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)|Отчет о выполнении вычислительного эксперимента]] |
Текущая версия
|
Московский физико-технический институт, Факультет управления и прикладной математики
Курс читается студентам 6-го курса кафедры "Интеллектуальные системы"
Практика
Создание библиотеки алгоритмов выбора линейных моделей | Кирилл Чувилин, Екатерина Крымова | Krymova2009FeatureSelection |
Композиции нейронных сетей для задачи регрессии | Елена Ежова, Андрей Гущин | GushchinEzhova2009NeuralNet |
Построение системы порождения и выбора моделей | Николай Разин, Александр Фрей | FreyMVR |
Создание библиотеки алгоритмов конструктивного порождения моделей | Александр Фрей, Николай Разин | FreyMVR |
Порождение и выбор авторегрессионных моделей | Ирина Лебедева | Lebedeva2009Autoregression |
Задания
- Зарегистрироваться в репозитории sourceforge и прислать свой ник на электронную почту Константину Скипору.
- Составить список участников и список рецензентов (по два рецензента на каждого участника).
- Ознакомиться со списоком материалов по практике.
- Ознакомиться с приемами работы в Matlabе.
- Изучить структуры данных Matlaba.
- Прочесть Matlab Style Guide.
- Получить алгебраическое выражение для инвертированного метода сортировки [1].
- Прочесть IDEF0.
- Прочесть CRISPWP-DM.
Полезные ссылки
- См. статьи в разделе Регрессионный анализ
- Отчет о выполнении исследовательского проекта
- Отчет о выполнении вычислительного эксперимента
- Примеры отчетов об экспериментах: пример 1, пример 2
- Введение в Матлаб
- Документирование функций Matlab
- Matlab Programming Style Guidelines (pdf)
- Работа с репозиторием SourceForge.net
- Корневая папка репозитория SourceForge/mlalgorithms
- Протокол рецензирования программных систем (временная ссылка)
- Шаблон отчета о выполнении исследовательского проекта (временная ссылка)
- Шаблон описания программной системы systemdocs.doc (doc)
- Описание стандарта IDEF0 (pdf)
- Описание стандарта CRISP-DM (pdf)
- Оценка гиперпараметров нелинейнных регрессионных моделей (pdf)
Экзамен
- 19 января в 10:30 ауд. 355.
I. Теория
- Регрессионный анализ, регрессионная модель, линейная регрессия, МНК, МГУА.
- Сингулярное разложение, метод главных компонент, регуляризация.
- Методы выбора линейных моделей Lasso, LARS, Optimal brain surgery.
- Построение интегральных индикаторов «без учителя» и «с учителем», согласование экспертных оценок в линейных и ранговых шкалах.
- Связанный Байесовский вывод, вычисление гиперпараметров.
- Аппроксимация Лапласа, нелинейная регрессия, метод Левенберга-Марквардта.
II. Практика
- Стандарт IDEF0 в проектировании архитектур программных систем.
- Стандарт анализа данных CRISP-DM.
- Содержание отчета об исследовательском проекте.
- Организация вычислительного эксперимента и отчет.
- Основные структуры данных Matlab.
- Соглашение о документировании функций Matlab.
- Стилевые соглашения Matlab.
- Описание программной системы systemdocs.
III. Задачи
- Индексное описание многослойного МГУА с выбором пар признаков на каждом слое.
- Постановка регрессионной задачи построения модели улыбки волатильности.
- Постановка регрессионной задачи прогнозирования временных рядов с выраженной периодикой.
- Дана выборка – множество пар измерений координат окружности, выполненных с некоторой случайной аддитивной ошибкой. Требуется методом наименьших квадратов найти центр и радиус этой окружности.
- Есть измерения координат границ плоских и объемных физических тел (несложной формы), сделанные с ошибкой. Предложить примеры моделирования форм этих тел с помощью методов линейной регрессии, поставить задачу.
- Показать, что согласованные оценки интегральных индикаторов и весов показателей, полученные линейным алгоритмом, существуют, единственны, удовлетворяют требованиям согласованности.
- Вывести оценку весов показателей гамма-согласования как минимум суммы квадратов расстояний между выставленной и вычисленной оценками в пространствах оценок интегральных индикаторов и весов показателей.
- Показать, что сингулярные числа матрицы— это длины осей эллипсоида, заданного линейным отображением векторов с Евклидовой длиной равной единице; показать, что первое сингулярное число матрицы — это ее Евклидова норма; показать, что число обусловленности матрицы
есть квадрат числа обусловленности матрицы
.