Материал из MachineLearning.

Each tuesday 16:10 at the channel m1p.org/go_zoom

Основная статья: Численные методы обучения по прецедентам (практика, В.В. Стрижов)

Mathematical forecasting

This course delivers methods of model selection in machine learning and forecasting. The modelling data are videos, audios, encephalograms, fMRIs and another measurements in natural science. The models are linear, tensor, deep neural networks, and neural ODEs. The practical examples are brain-computer interfaces, weather forecasting and various spatial-time series forecasting. The lab works are organised as paper-with-code reports.

Schedule

\begin{itemize}

• [Sep] 6, 13, 20, 27~--- lab 1
• [Oct] 4, 14, 18, 25~--- lab 2, 3
• [Nov] 8, 15, 22, 29~--- lab 4
• [Dec] 6, 13 exam

Lab works

Lab work contains report in the notebook and talk with discussion

1. Title and motivated abstract
2. Problem statement
3. Model, problem solution
4. Code, analysis and illustrative plots
5. References

Note: the model (and sometimes data) are personal. The rest – infrastructure, error functions, plots, are welcome to be created collectively and shared.

Topics of the lab works are

• Autoregressive forecasting
• Spatial-time forecasting
• Signal decoding
• Continuous-time forecasting

Exam and grading

Four lab works within deadlines and the exam on topics with problems and discussion.

Lecture topics

• Energy forecasting example
• Regression
• Linear model
• Model selection call
• Forecasting protocol
• Error functions
• Singular spectrum analysis
• SSA forecasting
• Forecasting protocols and verification (before AR)
• Autoregression
• Singular values decomposition (PCA, AE, Kar-Lo)
• QPFS model selection
• Auto, cross-correlation, cointegration
• Diagrams for ML and PLS
• Projection to latent space and relation to PCA, canonical-correlation analysis
• PLS-QPFS model selection
• Higher-order SSA
• Tensor decomposition
• Tensor model selection
• HOPLS
• Granger causality test
• Convergent cross mapping
• HOCCM to invent
• Taken’s theorem
• Neural ODE
• Adjoint and back-propagation
• Flows and forecasting
• Space state models
• S4, Hippo, SaShiMi models

\\ To include

• RNN, LSTM, attention, transformer models
• Directional regression
• Harmonic functions
• Phase extraction
• Non-parametric regression and customer demands forecasting
• Graph earth prediction

Format of the lab works

TODO Формат выполнения

1. Создать файл pynb Surmane2020Problem в папке
2. В файле Название задачи, автор
3. Краткое пояснение задачи
4. Желательна модель в виде формулы, а не в виде алгоритмического описания
5. Три функции: модель, критерий качества, прогноз, оптимизация параметров (и выбор модели)
6. График с прогнозом
7. График с анализом ошибки на ваш выбор

Техническое:

1. время (можно в натуральных числах, но лучше unix), явно указывает на объект выборки,
2. прогноз всегда на несколько точек (см. протокол прогнозирования, если это модель дает поточечный прогноз).

Пример:

1. Отчет о проекте
2. Код и проект
3. Ранние проекты

Краткое описание задач

Задача 0: Протокол поточечного прогнозирования

Взять из работы Никиты Уварова

Задача 1: Непараметрическое прогнозирование: выбор ядра, настройка параметров

В работе описывается метод ядерного сглаживания временного ряда, как один из видов непараметрической регрессии. Суть метода состоит в восстановлении функции времени, как взвешенной линейной комбинации точек из некоторой окрестности. Непрерывную ограниченную симметричную вещественную весовую функцию называют ядром. Полученная ядерная оценка используется для прогнозирования следующей точки ряда. Исследуется зависимость качества прогнозирования от параметров ядра и наложенного шума.

Задача 2: Экспоненциальное сглаживание и прогноз

В работе исследуется применение алгоритма экспоненциального сглаживания к прогнозированию временных рядов. В основе алгоритма лежит учет предыдущих значений ряда с весами, убывающими по мере удаления от исследуемого участка временного ряда. Изучено поведение алгоритма на модельных данных в различных моделях весов. Проведен анализ работы алгоритма на реальных данных -– биржевых индексах.

Задача 3: Выделение периодической компоненты временного ряда (пример)

В проекте исследуется временной ряд на наличие периодической компоненты, строится тригонометрическая интерполяция предложенных временных рядов методом наименьших квадратов. Производится оценка параметров функции метода наименьших квадратов в зависимости от качества прогнозирования. В вычислительном эксперименте приводятся результаты работы корреляционной функции и метода наименьших квадратов на зашумлённом модельном синусе и реальном временном ряде электрокардиограммы.

Задача 4: Многомерная гусеница, выбор длины и числа компонент гусеницы (сравнение сглаженного и несглаженного временного ряда) (пример)

В работе описывается метод гусеницы и его применение для прогнозирования временных рядов. Алгоритм основан на выделении из изучаемого временного ряда его информативных компонент и последующего построения прогноза. Исследуется зависимость точности прогнозов от выбора длины гусеницы и числа ее компонент. В вычислительном эксперименте приводятся результаты работы алгоритма на периодических рядах с разным рисунком внутри периода, на рядах с нарушением периодичности, а так же на реальных рядах почасовой температуры.

Задача 5: Прогнозирование функциями дискретного аргумента (пример)

В работе исследуются короткие временные ряды на примере монофонических музыкальных мелодий. Происходит прогнозирование одной ноты экспоненциальным сглаживанием, локальным методом, а также методом поиска постоянных закономерностей. Вычислительный эксперимент проводится на двух мелодиях, одна из которых имеет точно повторяющиеся фрагменты.

Задача 7: Локальные методы прогнозирования,поиск метрики

Временной ряд делится на отдельные участки, каждому из которых сопоставляется точка в n-мерном пространстве признаков. Локальная модель рассчитывается в три последовательных этапа. Первый – находит k-ближайших соседей наблюдаемой точки. Второй – строит простую модель, используя только этих k соседей. Третий – используя данную модель, по наблюдаемой точке прогнозирует следующую. Многие исследователи, используют эвклидову метрику для измерения расстояний между точками. Данная работа призвана сравнить точность прогнозирования при использовании различных метрик. В частности, требуется исследовать оптимальный набор весов во взвешенной метрике для максимизации точности прогнозирования.

Задача 8: Локальные методы прогнозирования, поиск инвариантного преобразования

В проекте используются локальные методы прогнозирования временных рядов. В этих методах не находится представления временного ряда в классе заданных функций от времени. Вместо этого прогноз осуществляется на основе данных о каком-то участке временного ряда (используется локальная информация). В данной работе подробно исследован следующий метод (обобщение классического «ближайшего соседа»).

Пусть имеется временной ряд, и стоит задача продолжить его. Предполагается, что такое продолжение определяется предысторией, т.е. в ряде нужно найти часть, которая после некоторого преобразования A становится схожа с той частью, которую мы стремимся прогнозировать. Поиск такого преобразования A и есть цель данного проекта. Для определения степени сходства используется функция B – функция близости двух отрезков временного ряда (подробнее об этом см. здесь). Так мы находим ближайшего соседа к нашей предыстории. В общем случае ищем несколько ближайших соседей. Продолжение запишется в виде их линейной комбинации.

Задача 9: Выравнивание временных рядов: прогнозирование с использованием DTW (пример)

Временным рядом называется последовательность упорядоченных по времени значений некоторой вещественной переменной . Задача, сопутствующая появлению временных рядов, - сравнение одной последовательности данных с другой. Сравнение последовательностей существенно упрощается после деформации временного ряда вдоль одной из осей и его выравнивания. Dynamic time warping (DTW) представляет собой технику эффективного выравнивая временных рядов. Методы DTW используются при распознавании речи, при анализе информации в робототехнике, в промышленности, в медицине и других сферах.

Цель работы - привести пример выравнивания, ввести функционал сравнения двух временных рядов, обладающий естественными свойствами коммутативности, рефлексивности и транзитивностина. Функционал должен принимать на вход два временных ряда, а на выходе давать число, характеризующее степень их "похожести".

Задача 10: Выбор функции активации при прогнозировании нейронными сетями (убрать задачу)

Целью проекта является исследование зависимости качества прогнозирования нейронными сетями без обратной связи (одно- и многослойными перцептронами) от выбранной функции активации нейронов в сети, а также от параметров этой функции.

Результатом проекта является оценка качества прогнозирования нейронными сетями в зависимости от типа и параметров функции активации.

Задача 11: Прогнозирование музыкальных произведений

Соединить три проекта

Задача 12: Исследование сходимости при прогнозировании нейронными сетями с обратной связью

Исследуется зависимость скорости сходимости при прогнозировании временных рядов от параметров нейронной сети с обратной связью. Понятие обратной связи характерно для динамических систем, в которых выходной сигнал некоторого элемента cистемы оказывает влияние на входной сигнал этого элемента. Выходной сигнал можно представить в виде бесконечной взвешенной суммы текущего и предыдущих входных сигналов. В качестве модели нейронной сети используется сеть Джордана. Предлагается исследовать скорость сходимости в зависимости от выбора функции активации (сигмоидной, гиперболического тангенса), от числа нейронов в промежуточном слое и от ширины скользящего окна. Также исследуется способ повышения скорости сходимости при использовании обобщенного дельта-правила.

Задача 13: Многомерная гусеница, выбор длины и числа компонент гусеницы (пример)

Работа посвящена исследованию одного из методов анализа многомерных временных рядов - метода "гусеницы", также известного как Singular Spectrum Analysis или SSA. Метод можно разделить на четыре этапа - представление временного ряда в виде матрицы при помощи сдвиговой процедуры, вычисление ковариационной матрицы выборки и сингулярное ее разложение, отбор главных компонент,относящихся к различным составляющим ряда (от медленно меняющихся и периодических до шумовых), и, наконец, восстановление ряда.

Областью применения алгоритма являются задачи как метеорологии и геофизики, так и экономики и медицины. Целью данной работы является выяснение зависимости эффективности алгоритма от выбора временных рядов, используемых в его работе.

Задача 14: Использование теста Гренджера при прогнозировании временных рядов

При прогнозировании ряда бывает полезно определить, является ли данный ряд "зависимым" от некоторого другого ряда. Выявить подобную связь помогает тест Грейнджера, основанный на статистических тестах(при этом метод не гарантирует точного результата - при сравнении двух рядов, зависящих от еще одного ряда возможна ошибка). Метод применяется при прогнозировании экономических явлений и явлений природного характера (например, землятрясений).

Цель работы - предложить алгоритм, наилучшим образом использующий данный метод; исследовать эффективность метода в зависимости от прогнозируемых рядов.

Задача 15: Прогнозирование и аппроксимация сплайнами

Описание.

Задача 16: ARIMA и GARCH при прогнозировании высоковолатильных рядов

Описание.

Задача 17: Прогнозирование и SVN–регрессия

Описание.

Задача 18: Прогнозирование методом PLS

Описание.

Список задач, черновик

1. Непараметрическое прогнозирование (выбор ядра из набора, настройка параметров)
2. Прогнозирование и экспоненциальное сглаживание (набор временных рядов, исследование современного состояния)
3. Непараметрическое прогнозирование рядов с периодической составляющей (по мотивам работ прогнозирования объемов продаж)
4. Многомерная гусеница, выбор длины и числа компонент гусеницы (сравнение сглаженного и несглаженного временного ряда)
5. Многомерная гусеница, выбор временных рядов при прогнозировании
6. Многомерная авторегрессия
7. Локальные методы прогнозирования, поиск метрики
8. Локальные методы прогнозирования, поиск инвариантного преобразования
9. Прогнозирование с использованием пути наименьшей стоимости (DTW)
10. Выбор функции активации при прогнозировании нейронными сетями
11. Выбор ядра при прогнозировании функциями радиального базиса
12. Исследование сходимости при прогнозировании нейронными сетями с обратной связью
13. Прогнозирование функциями дискретного аргумента
14. Использование теста Гренджера при прогнозировании временных рядов
15. Прогнозирование и SVN – регрессия
16. ARIMA и GARCH при прогнозировании высоковолатильных рядов с периодической составляющей (цен на электроэнергию)
17. Прогнозирование и аппроксимация сплайнами

Экспоненциальное сглаживание

1. Модель Брауна — экспоненциальное сглаживание.
2. Модель Хольта — учитываются линейный тренд без сезонности.
3. Модель Хольта-Уинтерса — учитываются мультипликативный тренд и сезонность.
4. Модель Тейла-Вейджа — учитываются аддитивный тренд и сезонность.
5. Модель Тригга-Лича — следящий контрольный сигнал используется для адаптации параметров адаптации
6. Сезонность
7. Анализ адекватности адаптивных моделей

Примеры и данные

1. Временной ряд
2. Временной ряд (библиотека примеров)
3. Прогнозирование ежедневных цен на электроэнергию (отчет)
4. Daily electricity price forecasting (report)
5. Прогнозирование временных рядов методом SSA (пример)
6. Многомерная гусеница, выбор длины и числа компонент гусеницы (пример)
7. Прогнозирование функциями дискретного аргумента (пример)
8. Коллекция реальных данных

ARIMA model examples [1] , [2] , [3] , [4] , [5] !!!!!! , [6] , [7] , [8] , [9] , [10]

Ковариационный анализ

1. Ковариационный анализ
2. Canonical correlation
3. Cross-covariance matrix
4. Причинность по Грейнджеру

Ссылки на ранее сделанный код и домашние задания

1. Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 874, весна 2011
2. Руководство исследовательскими проектами (практика, В.В. Стрижов)
3. Выделение периодической компоненты временного ряда (пример)
4. Сравнение временных рядов при авторегрессионном прогнозе (пример)
5. Прогнозирование финансовых пузырей (пример)
6. Прогнозирование объемов продаж групп товаров (отчет)
7. Долгосрочное прогнозирование ежедневных цен на электроэнергию (пример)
8. Обнаружение жизненного цикла товаров (отчет)

Список вопросов и задач для зкзамена

Ссылки на материалы курса

Тема	Ссылка
Вероятностные прогностические модели	Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
Порождение вероятностных моделей	Strijov V.V., Krymova E.A., Weber G.W. Evidence optimization for consequently generated models // Mathematical and Computer Modelling, 2013, 57(1-2) : 50-56.
Оценка гиперпараметров вероятностных моделей	Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
Проблема мультиколлинеарности в задачах прогнозирования	Katrutsa A.M., Strijov V.V. Stresstest procedure for feature selection algorithms // Chemometrics and Intelligent Laboratory Systems, 2015, 142 : 172-183.
Выбор признаков и метод Белсли	Нейчев Р.Г., Катруца А.М., Стрижов В.В. Выбор оптимального набора признаков из мультикоррелирующего множества в задаче прогнозирования // Заводская лаборатория. Диагностика материалов, 2016, 82(3) : 68-74.
Квадратичное программирование для выбора признаков	Katrutsa A.M., Strijov V.V. Comprehensive study of feature selection methods to solve multicollinearity problem according to evaluation criteria // Expert Systems with Applications, 2017, 76 : 1-11.
Авторегрессионное прогнозирование и метод Гусеница (Singular spectrum analysis)	Сандуляну Л.Н., Стрижов В.В. Выбор признаков в авторегрессионных задачах прогнозирования // Информационные технологии, 2012, 7 : 11-15.
Прогнозирование сигналов носимых устройств	Карасиков М.Е., Стрижов В.В. Классификация временных рядов в пространстве параметров порождающих моделей // Информатика и ее применения, 2016, 10(4) : 121-131.
Выбор прогностических моделей сигналов носимых устройств	Карасиков М.Е., Стрижов В.В. Классификация временных рядов в пространстве параметров порождающих моделей // Информатика и ее применения, 2016, 10(4) : 121-131. Усманова К.Р., Стрижов В.В. Обнаружение зависимостей во временных рядах в задачах построения прогностических моделей // Системы и средства информатики, 2019, 29(2) : 12-30.
Не вошло в материалы (сферическая регрессия в аппроксимации фазовых траекторий)	Usmanova K.R., Zhuravev K.V., Rudakov K.V., Strijov V.V. Approximation of quasiperiodic signal phase trajectory using directional regression // Computational Mathematics and Cybernetics, 2020.
Метод частичных наименьших квадратов и канонический корреляционый анализ	Isachenko R.V., Vladimirova M.R., Strijov V.V. Dimensionality reduction for time series decoding and forecasting problems // DEStech Transactions on Computer Science and Engineering, 2018, 27349 : 286-296.
Метод частичных наименьших квадратов (нелинейный вариант)	Isachenko R.V., Strijov V.V. Quadratic Programming Optimization with Feature Selection for Non-linear Models // Lobachevskii Journal of Mathematics, 2018, 39(9) : 1179-1187.
Построение моделей нейроинтерфейсов	Motrenko A.P., Strijov V.V. Multi-way feature selection for ECoG-based brain-computer interface // Expert Systems with Applications, 2018, 114(30) : 402-413.
Прогнозирование волатильности опционных торгов (прикладной проект)	Стрижов В.В., Сологуб Р.А. Индуктивное порождение регрессионных моделей предполагаемой волатильности для опционных торгов // Вычислительные технологии, 2009, 14(5) : 102-113.
Сравнение прогностических моделей	Уваров Н.Д., Кузнецов М.П., Малькова А.С., Рудаков К.В., Стрижов В.В. Выбор суперпозиции моделей при прогнозировании грузовых железнодорожных перевозок // Вестник Московского университета. Серия 15. Вычислительная математика и кибернетика, 2018, 4 : 41-48.

Youtube video

Видео-канал

1. Л1: Анализ ошибки и вероятностные модели
2. Л2: Примеры прогностических моделей и вероятностная интерпретация
3. Л3: Свертка и фазовая траектория
4. Л4: Авторегрессионные модели и учет ошибки
5. Л5: Динамическое выравнивание, локальное прогнозирование
6. Л6: Метод проекции в скрытые пространства PLS

ACF: автокорреляционная функция

Коррелограмма

1. Autocorrelation
2. Autocorrelation Matrix
3. FPCA illustration
4. An Example of ACF in Two Dimensions
5. Effect of Windowing Function on Autocorrelation Function
6. Sample ACF and Properties of AR(1) Model
7. 2.8 Autocorrelation
8. Autocorrelation Function of Exponential Sequence
9. Fast way reduce noise of autocorrelation function in python?

References

Main and supplimentary