Материал из MachineLearning.

Версия 00:55, 21 сентября 2022

Each tuesday 16:10 at the channel m1p.org/go_zoom

Основная статья: Численные методы обучения по прецедентам (практика, В.В. Стрижов)

Ведущие Алина Самохина, Денис Тихонов, Святослав Панченко

Короткая ссылка bit.ly/3QAOYPd

Mathematical forecasting

This course delivers methods of model selection in machine learning and forecasting. The modelling data are videos, audios, encephalograms, fMRIs and another measurements in natural science. The models are linear, tensor, deep neural networks, and neural ODEs. The practical examples are brain-computer interfaces, weather forecasting and various spatial-time series forecasting. The lab works are organised as paper-with-code reports.

Schedule

• [Sep] 6-s1, 13-s2, 20-s3, 27-s4 – lab 1
• [Oct] 4, 14, 18, 25 – lab 2, 3
• [Nov] 8, 15, 22, 29 – lab 4
• [Dec] 6, 13 exam

Discussion and course page

• Telegram MMP
• This page will be moved here
• GitHub

Lab works

Lab work contains report in the notebook and talk with discussion

1. Title and motivated abstract
2. Problem statement
3. Model, problem solution
4. Code, analysis and illustrative plots
5. References

Note: the model (and sometimes data) are personal. The rest – infrastructure, error functions, plots, are welcome to be created collectively and shared.

Topics of the lab works are

• Autoregressive forecasting (Singular Structure Analysis)
• Spatial-time forecasting (Tensor Decomposition)
• Signal decoding (Projection to Latent Space)
• Continuous-time forecasting (Neural Differential Equations)

Exam and grading

Four lab works within deadlines and the exam on topics with problems and discussion. Each lab gives 2pt, the exam gives 2pt, so 2*4+2=10.

Terminology and list of notations

See PhD thesis by Roman Isachenko See also

• Tensor terminology in the PhD thesis by Anastasia Motrenko
• Model selection terminology in the PhD theses by Oleg Bakhteev and by Andery Grabovoy

Lecture topics

• Energy forecasting example
• Regression
• Linear model
• Model selection call
• Forecasting protocol
• Error functions
• Singular spectrum analysis
• SSA forecasting
• Forecasting protocols and verification (before AR)
• Autoregression
• Singular values decomposition (PCA, AE, Kar-Lo)
• QPFS model selection
• Auto, cross-correlation, cointegration
• Diagrams for ML and PLS
• Projection to latent space and relation to PCA, canonical-correlation analysis
• PLS-QPFS model selection
• Higher-order SSA
• Tensor decomposition
• Tensor model selection
• HOPLS
• Granger causality test
• Convergent cross mapping
• HOCCM to invent
• Taken’s theorem
• ResNet, Neural ODE
• Adjoint and back-propagation
• Flows and forecasting
• Space state models
• S4, Hippo, SaShiMi models
• (if room) Neural PDE, Lagrangian, Hamiltonian nns.

\\ To include

• RNN, LSTM, attention, transformer models
• Directional regression
• Harmonic functions
• Phase extraction
• Non-parametric regression and customer demands forecasting
• Graph earth prediction

Format of the lab works

1. Create a .pynb or .py file Surname2022Lab in the folder
2. The report also could be in the .tex file.
3. Find the format of your report above.
4. The computational experiment contains common part and individual part.
5. Common part:
   1. use four short sample set [airplane], [electricity], [accelerometer hand motion], [video hand motion],
   2. prepare the design matrix and target a scalar/vector for each time sample (in the form time, vecx, vecy),
   3. set the forecast horizon, plot the forecast and estimate the error.
6. Individual part:
   1. select a lab work and specify your model (you can adopt any code available for),
   2. tune parameters, make your forecast according the horizon,
   3. write the report.
7. Error analysis is a part of the report:
8. plot of the forecast,
9. MAPE error (and your optimization error, if available) and its standard deviation,
10. prove your model has the optimal structure, try various structure parameters.

Details:

1. time refers to each sample (in unix or any useful format),
2. the horizon is an expected fundamental period,
3. note that the historical time ends before the forecasting period, it means we could use either historical data or the forecasted data (the historical data are not updated after history ends),
4. the forecasting protocol is in parer, text, slides by Nikita Uvarov.

Examples:

1. Old format of the report
2. Code and project
3. Previous project from Sourceforge.net

Lab work series I

Examples and datasets

1. Time series (collection of examples)
2. Time series and datasets collection
3. Временной ряд
4. Прогнозирование ежедневных цен на электроэнергию (отчет)
5. Daily electricity price forecasting (report), Example
6. Прогнозирование временных рядов методом SSA (пример)
7. Многомерная гусеница, выбор длины и числа компонент гусеницы (пример)
8. Прогнозирование функциями дискретного аргумента (пример)
9. Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 874, весна 2011
10. Руководство исследовательскими проектами (практика, В.В. Стрижов)
11. Выделение периодической компоненты временного ряда (пример)
12. Сравнение временных рядов при авторегрессионном прогнозе (пример)
13. Прогнозирование финансовых пузырей (пример)
14. Прогнозирование объемов продаж групп товаров (отчет)
15. Долгосрочное прогнозирование ежедневных цен на электроэнергию (пример)
16. Обнаружение жизненного цикла товаров (отчет)
17. Непараметрическая регрессия
18. Непараметрическая регрессия: ядерное сглаживание

Lab 101 Kernel smoothing

Метод ядерного сглаживания временного ряда, как один из видов непараметрической регрессии. Он восстанавливает функцию времени взвешенной линейной комбинацией точек из некоторой окрестности. Непрерывную ограниченную симметричную вещественную весовую функцию называют ядром. Полученная ядерная оценка используется для прогнозирования следующей точки ряда. Исследуется зависимость качества прогнозирования от параметров ядра и наложенного шума см. Хардле. Select an optimal kernel to forecast a point of a phase trajectory in multivariate time series. Example

Lab 102 Exponential smoothing

Алгоритм экспоненциального сглаживания для прогнозирования временных рядов. Он учитывает предыдущие значения ряда с весами, убывающими по мере удаления от исследуемого участка временного ряда. Изучить поведение алгоритма на модельных данных в различных моделях весов. Проанализировать работу алгоритма на биржевых индексах. Select points of phase trajectory to smooth. Модели экспоненциального сглаживания:

1. Модель Брауна — экспоненциальное сглаживание
2. Модель Хольта — учитываются линейный тренд без сезонности
3. Модель Хольта-Уинтерса — учитываются мультипликативный тренд и сезонность
4. Модель Тейла-Вейджа — учитываются аддитивный тренд и сезонность
5. Модель Тригга-Лича — следящий контрольный сигнал используется для адаптации параметров адаптации
6. Сезонность

Example

Lab 103 Local forecasting

Временной ряд делится на отдельные участки, каждому из которых сопоставляется точка в n-мерном пространстве признаков. Локальная модель рассчитывается в три последовательных этапа. Первый – находит k-ближайших соседей наблюдаемой точки. Второй – строит простую модель, используя только этих k соседей. Третий – используя данную модель, по наблюдаемой точке прогнозирует следующую. Многие исследователи, используют эвклидову метрику для измерения расстояний между точками. Данная работа призвана сравнить точность прогнозирования при использовании различных метрик, в первую очередь Махаланобиса. В частности, требуется исследовать оптимальный набор весов во взвешенной метрике для максимизации точности прогнозирования. Example

Lab 103a Local forecasting with invariant translation

Find invariant translation in time (linear or non-linear) and in phase space (shift and scale). В проекте используются локальные методы прогнозирования временных рядов. В этих методах не находится представления временного ряда в классе заданных функций от времени. Вместо этого прогноз осуществляется на основе данных о каком-то участке временного ряда (используется локальная информация). В данной работе подробно исследован следующий метод (обобщение классического «ближайшего соседа»).

Пусть имеется временной ряд, и стоит задача продолжить его. Предполагается, что такое продолжение определяется предысторией, т.е. в ряде нужно найти часть, которая после некоторого преобразования A становится схожа с той частью, которую мы стремимся прогнозировать. Поиск такого преобразования A и есть цель данного проекта. Для определения степени сходства используется функция B – функция близости двух отрезков временного ряда (подробнее об этом см. здесь). Так мы находим ближайшего соседа к нашей предыстории. В общем случае ищем несколько ближайших соседей. Продолжение запишется в виде их линейной комбинации.

Lab 104 Singular spectrum analysis

В работе описывается метод гусеницы и его применение для прогнозирования временных рядов. Алгоритм основан на выделении из изучаемого временного ряда его информативных компонент и последующего построения прогноза. Исследуется зависимость точности прогнозов от выбора длины гусеницы и числа ее компонент. В вычислительном эксперименте приводятся результаты работы алгоритма на периодических рядах с разным рисунком внутри периода, на рядах с нарушением периодичности, а так же на реальных рядах почасовой температуры.

(Old variant Метод содержит четыре этапа - представление временного ряда в виде матрицы при помощи сдвиговой процедуры, вычисление ковариационной матрицы выборки и сингулярное ее разложение, отбор главных компонент,относящихся к различным составляющим ряда (от медленно меняющихся и периодических до шумовых), и, наконец, восстановление ряда. Областью применения алгоритма являются задачи как метеорологии и геофизики, так и экономики и медицины. Целью данной работы является выяснение зависимости эффективности алгоритма от выбора временных рядов, используемых в его работе.) Example, Example, Example

Lab 104a Singular spectrum analysis, multivariate

Forecast a multivariate series, the target time series are subset of the design.

Lab 105 Simple neural network

Forecast a (multivariate) time series with 2-NN. Find the optimal number of neurons. (Old variant Исследование зависимости качества прогнозирования нейронными сетями без обратной связи (одно- и многослойными перцептронами) от выбранной функции активации нейронов в сети, а также от параметров этой функции. Результат – оценка качества прогнозирования нейронными сетями в зависимости от типа и параметров функции активации.) Example, Example

Lab 106 ARIMA

Find the optimal p,d,q. ARIMA model examples [1] , [2] , [3] , [4] , [5] !!!!!! , [6] , [7] , [8] , [9] , [10]. Example

Lab 106a GARCH

Plot the forecast and error(t).

Lab 107 Vector autoregression

Forecast a multivariate time series. Find an optimal structure of VAR-model.

Lab 108 Discrete functions to forecast MIDI

Прогнозирование музыкальных произведений. Прогнозирование функциями дискретного аргумента (пример) В работе исследуются короткие временные ряды на примере монофонических музыкальных мелодий. Происходит прогнозирование одной ноты экспоненциальным сглаживанием, локальным методом, а также методом поиска постоянных закономерностей. Вычислительный эксперимент проводится на двух мелодиях, одна из которых имеет точно повторяющиеся фрагменты. Example

Lab 109 Spline approximation and forecasting

The description and code is here.

Lab 110: SVN–regression and forecasting

Use a linear model with or without kernel trick with quadratic or SVN error function.

Lab 111: Flexible Least Squares

Example

Lab 112: Event forecasting, change-point forecasting models

Example

Lab 106b: Histogram forecasting

Example and error correction (Uvarov's paper)

RESUME (end of Lab series I)

Gold rules of forecasting

1. The forecast horizon is a segment in the time-scale (there is no one-point forecast).
2. Multivariate time series only (there are no single-variate ones). Sometimes the time series are spatial.

Went to Lab Series II

Tensor caterpillar

Went to Lab Series III

Задача 303: Выделение периодической компоненты временного ряда (пример)

В проекте исследуется временной ряд на наличие периодической компоненты, строится тригонометрическая интерполяция предложенных временных рядов методом наименьших квадратов. Производится оценка параметров функции метода наименьших квадратов в зависимости от качества прогнозирования. В вычислительном эксперименте приводятся результаты работы корреляционной функции и метода наименьших квадратов на зашумлённом модельном синусе и реальном временном ряде электрокардиограммы.

Задача 309: Выравнивание временных рядов: прогнозирование с использованием DTW (пример)

Временным рядом называется последовательность упорядоченных по времени значений некоторой вещественной переменной . Задача, сопутствующая появлению временных рядов, - сравнение одной последовательности данных с другой. Сравнение последовательностей существенно упрощается после деформации временного ряда вдоль одной из осей и его выравнивания. Dynamic time warping (DTW) представляет собой технику эффективного выравнивая временных рядов. Методы DTW используются при распознавании речи, при анализе информации в робототехнике, в промышленности, в медицине и других сферах.

Цель работы - привести пример выравнивания, ввести функционал сравнения двух временных рядов, обладающий естественными свойствами коммутативности, рефлексивности и транзитивностина. Функционал должен принимать на вход два временных ряда, а на выходе давать число, характеризующее степень их "похожести".

Задача 312: Исследование сходимости при прогнозировании нейронными сетями с обратной связью

Исследуется зависимость скорости сходимости при прогнозировании временных рядов от параметров нейронной сети с обратной связью. Понятие обратной связи характерно для динамических систем, в которых выходной сигнал некоторого элемента cистемы оказывает влияние на входной сигнал этого элемента. Выходной сигнал можно представить в виде бесконечной взвешенной суммы текущего и предыдущих входных сигналов. В качестве модели нейронной сети используется сеть Джордана. Предлагается исследовать скорость сходимости в зависимости от выбора функции активации (сигмоидной, гиперболического тангенса), от числа нейронов в промежуточном слое и от ширины скользящего окна. Также исследуется способ повышения скорости сходимости при использовании обобщенного дельта-правила.

Задача 314: Использование теста Гренджера при прогнозировании временных рядов

При прогнозировании ряда бывает полезно определить, является ли данный ряд "зависимым" от некоторого другого ряда. Выявить подобную связь помогает тест Грейнджера, основанный на статистических тестах(при этом метод не гарантирует точного результата - при сравнении двух рядов, зависящих от еще одного ряда возможна ошибка). Метод применяется при прогнозировании экономических явлений и явлений природного характера (например, землятрясений).

Цель работы - предложить алгоритм, наилучшим образом использующий данный метод; исследовать эффективность метода в зависимости от прогнозируемых рядов.

Задача 318: Прогнозирование методом PLS

Описание.

Список вопросов и задач для зкзамена

Ссылки на материалы курса

Выбор моделей в задачах декодирования

1. Katrutsa A.M., Strijov V.V. Stresstest procedure for feature selection algorithms // Chemometrics and Intelligent Laboratory Systems, 2015, 142 : 172-183.
2. Katrutsa A.M., Strijov V.V. Comprehensive study of feature selection methods to solve multicollinearity problem according to evaluation criteria // Expert Systems with Applications, 2017, 76 : 1-11.
3. Isachenko R.V., Vladimirova M.R., Strijov V.V. Dimensionality reduction for time series decoding and forecasting problems // DEStech Transactions on Computer Science and Engineering, 2018, 27349 : 286-296.
4. [Isachenko R.A., Strijov V.V. Quadratic programming feature selection for multicorrelated signal decoding with partial least squares // Submitted, 2021.]

Построение моделей нейроинтерфейсов

1. Motrenko A.P., Strijov V.V. Multi-way feature selection for ECoG-based brain-computer interface // Expert Systems with Applications, 2018, 114(30) : 402-413.
2. Мотренко А.П. Выбор моделей прогнозирования мультикоррелирующих временных рядов (научный руководитель В.В. Стрижов). Московский физико-технический институт, 2019.
3. Яушев Ф.Ю., Исаченко Р.В., Стрижов В.В. Модели согласования скрытого пространства в задаче прогнозирования // Системы и средства информатики, 2021, 31(1). 

Прогнозирование волатильности опционных торгов

1. Karsten Ehrig, Ulrike Prange, Gabriele Taentzer, Hartmut Ehrig. Fundamentals of Algebraic Graph Transformation, 2006.
2. Сологуб Р.А. Алгоритмы индуктивного порождения и трансформации моделей в задачах нелинейной регрессии, 2014.
3. Kulunchakov A.S., Strijov V.V. Generation of simple structured Information Retrieval functions by genetic algorithm without stagnation // Expert Systems with Applications, 2017, 85 : 221-230.
4. Стрижов В.В., Сологуб Р.А. Индуктивное порождение регрессионных моделей предполагаемой волатильности для опционных торгов // Вычислительные технологии, 2009, 14(5) : 102-113.
5. Рудой Г.И., Стрижов В.В. Алгоритмы индуктивного порождения суперпозиций для аппроксимации измеряемых данных // Информатика и её применения, 2013, 7(1) : 17-26.

Выравнивание: параметрическое и непараметрическое, поиск центроидов временных рядов

1. Исаченко Р.В., Стрижов В.В. Метрическое обучение в задачах многоклассовой классификации временных рядов // Информатика и ее применения, 2016, 10(2) : 48-57.
2. Гончаров А.В., Стрижов В.В. Выравнивание декартовых произведении упорядоченных множеств // Информатика и ее применения, 2020, 14(1) : 31-39.
3. Гончаров А.В., Стрижов В.В. Метрическая классификация временных рядов со взвешенным выравниванием относительно центроидов классов // Информатика и ее применения, 2016, 10(2) : 36-47.
4. Гончаров А.В., Попова М.С., Стрижов В.В. Метрическая классификация временных рядов с выравниванием относительно центроидов классов // Системы и средства информатики, 2015, 25(4) : 52-64.
5. Goncharov A.V., Strijov V.V. Analysis of dissimilarity set between time series // Computational Mathematics and Modeling, 2018, 29(3) : 359-366.
6. Goncharov A.V., Strijov V.V. Continuous time series alignment in human actions recognition // Artificial Intelligence and Natural Language and Information Extraction, Social Media and Web Search FRUCT Conference proceedings // AINL FRUCT: Artificial Intelligence and Natural Language Conference, 2016 : 83-86.

Задачи локального прогнозирования

1. Карасиков М.Е., Стрижов В.В. Классификация временных рядов в пространстве параметров порождающих моделей // Информатика и ее применения, 2016, 10(4) : 121-131.
2. Isachenko R.V., Bochkarev А.М., Zharikov I.N., Strijov V.V. Feature generation for physical activity classification // Artificial Intelligence and Decision Making, 2018, 3 : 20-27.
3. Isachenko R.V., Vladimirova M.R., Strijov V.V. Dimensionality reduction for time series decoding and forecasting problems // DEStech Transactions on Computer Science and Engineering, 2018, 27349 : 286-296.
4. Isachenko R.V., Strijov V.V. Quadratic Programming Optimization with Feature Selection for Non-linear Models // Lobachevskii Journal of Mathematics, 2018, 39(9) : 1179-1187. 

Прогнозирование элементов частично-упорядоченных множеств

1. Слайды
2. Stenina M.M., Kuznetsov M.P., Strijov V.V. Ordinal classification using Pareto fronts // Expert Systems with Applications, 2015, 42(14) : 5947–5953.
3. Kuznetsov M.P., Strijov V.V. Methods of expert estimations concordance for integral quality estimation // Expert Systems with Applications, 2014, 41(4-2) : 1988-1996.
4. Кузнецов М.П. Построение моделей обучения по предпочтениям с использованием порядковых экспертных оценок, 2016.

Порождение вероятностных прогностических моделей

1. Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
2. Strijov V.V., Krymova E.A., Weber G.W. Evidence optimization for consequently generated models // Mathematical and Computer Modelling, 2013, 57(1-2) : 50-56.
3. Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.

Youtube video

Видео-канал

1. Л1: Анализ ошибки и вероятностные модели
2. Л2: Примеры прогностических моделей и вероятностная интерпретация
3. Л3: Свертка и фазовая траектория
4. Л4: Авторегрессионные модели и учет ошибки
5. Л5: Динамическое выравнивание, локальное прогнозирование
6. Л6: Метод проекции в скрытые пространства PLS

Ковариационный анализ

1. Ковариационный анализ
2. Canonical correlation
3. Cross-covariance matrix
4. Причинность по Грейнджеру

ACF: автокорреляционная функция

Коррелограмма

1. Autocorrelation
2. Autocorrelation Matrix
3. FPCA illustration
4. An Example of ACF in Two Dimensions
5. Effect of Windowing Function on Autocorrelation Function
6. Sample ACF and Properties of AR(1) Model
7. 2.8 Autocorrelation
8. Autocorrelation Function of Exponential Sequence
9. Fast way reduce noise of autocorrelation function in python?

References

Main and supplimentary

• Математические методы прогнозирования (лекции, В.В. Стрижов)/Группы 674, 774, весна 2021. (Взять лабы и материалы)
• Математические методы прогнозирования (лекции, А.В. Грабовой, В.В. Стрижов)/Осень 2021 (Взять материалы без лаб)