Прогнозирование объемов грузовых железнодорожных перевозок

Материал из MachineLearning.

Текущая версия

Страница посвящена описанию проекта по разработке и исследованию свойств системы прогнозирования объемов грузовых железнодорожных перевозок с учетом экзогенных факторов.

Короткий адрес: http://bit.ly/2ujH3eE

Цели и задачи проекта

Проект направлен на решение задачи повышения эффективности бизнес-процессов индустриального партнера — ОАО «РЖД». Целью проекта является разработка и адаптация математических методов и алгоритмов прогнозирования с учетом специфики задач, решаемых в интересах ОАО «РЖД», и создание системы прогнозирования на их основе. Применение разработанных методов и алгоритмов, проектирование и внедрение подсистемы прогнозирования, позволят повысить обоснованность, объективность и эффективность принятия решений в бизнес-процессах, связанных с заключением контрактов и планированием грузовых железнодорожных перевозок.

• Статьи, посвященные описанию системы: Rudakov2015RZD.pdf, Zhuravlev2015VestnikRAN.pdf
• Запускаемые модули прогнозирования, генерации тестовых данных и тестирования системы [code] (Май 2016: код временно не доступен).
• Функциональные диаграммы системы прогнозирования и генерации тестовых данных: IDEF.
• Постановочная презентация RZD2015MinObrFull.pdf‎

Компоненты системы

Задача прогнозирования спроса на грузовые перевозки была поставлена для оперативного планирования перевозок по историческим данным с временным интервалом от суток до года. Для решения задачи необходимо решить ряд подзадач, связанных со спецификой прикладной области.

Исследования по разработке модели прогнозирования

Предложен алгоритм hist непараметрического прогнозирования загруженности железнодорожных узлов РЖД по историческим данным. Алгоритм основан на свертке эмпирической плотности распределения значений временного ряда с функцией потерь. Исследованы свойства алгоритма при гистограммной и ядерной оценке плотности распределения нестационарного временного ряда.

• Вальков А.С., Кожанов Е.М., Медведникова М.М., Хусаинов Ф.И. Непараметрическое прогнозирование загруженности системы железнодорожных узлов по историческим данным // Машинное обучение и анализ данных. 2012. T. 1, № 4. C. 448-465
• Ссылка на код.
• Описание экспериментов по исследованию свойств алгоритма hist: [Stenina2014HistProperties].

Для прогнозирования нестационарных временных рядов с произвольной функцией потерь предлагается двухэтапный алгоритм прогнозирования ARIMA+Hist. На первом этапе используется авторегирессионное интегрированное скользящее среднее ARIMA с сезонной компонентой в случае необходимости. На втором этапе проводится анализ регрессионных остатков и находится оптимальная добавка к прогнозу, полученному на первом шаге, минимизирующая математическое ожидание потерь.

• Комбинация hist+ARIMA: текст статьи и код.
• Несмещенная комбинация прогностических моделей MK: superposition.pdf

Учет влияния экзогенных факторов

В качестве методов выявления связи между временными рядами рассмотрены тест Грейнджера и метод сходящегося перекрестного отображения. Исследованы экономические факторы, связанные с объектами перевозок: цены на нефть и нефтепродукты, газ, металлы, сахар.

• Публикации: Вальков А.С., Кожанов Е.М., Мотренко А.П., Хусаинов Ф.И. Построение кросс-корреляционных зависимостей при прогнозе загруженности железнодорожного узла // Машинное обучение и анализ данных. 2013. № 5. С.503-517. Код и текст статьи в папке [1]
• Мотренко А.П. Использование теста Грейнджера при прогнозировании временных рядов // Машинное обучение и анализ данных. 2011. № 1. С. 51-60. Материалы.

Для учета экзогенных факторов в модели гистограммного прогнозирования предлагается уточнить гистограмму прогнозируемого (эндогенного) временного ряда, используя информацию о реализации значений экзогенных временных рядов. Рассматриваются методы уточнения гистограммы: условные гистограммы, смеси гистограмм.

• Ссылки на код и описание метода.

Прогноз с учетом топологии

Предлагается повысить качество прогноза за счет учета топологии сети: выполняется прогнозирование отправлений по парам станций вместо прогнозирования отправления всех вагонов с заданной станции. Поставлен вычислительный эксперимент, который подтвердил предположение о том, что прогноз по парам станций точнее, чем прогноз суммарного количества отправленных с заданной станции вагонов.

• Газизуллина Р.К., Стенина М.М., Стрижов В.В. Прогнозирование объемов железнодорожных грузоперевозок по парам веток // Системы и средства информатики. — 2015, 25(1) — 144-157.
• Ссылки на код и текст статьи.

Согласование прогнозов

Исследуются задача согласования прогнозов временных рядов, образующих иерархическую структуру. К прогнозам таких рядов как правило предъявляется требование согласованности прогнозов по уровням иерархии. Предлагается алгоритм согласования прогнозов иерархических временных рядов, основанный на решении задачи оптимизации с ограничениями. Предлагаемый алгоритм позволяет проводить согласование прогнозов в случае иерархической структуры, а также учитывать физические ограничения на прогнозируемые величины, такие как неотрицательность или максимальное значение.

• Обзор методов согласования прогнозов Stenina2014ReconciliationSurvey.pdf
• Стенина М., Стрижов В. Согласование агрегированных и детализированных прогнозов при решении задач непараметрического прогнозирования // Системы и средства информатики, 2014, 24(2) — 21-34. текст, код.

Предлагается алгоритм согласования прогнозов иерархических временных рядов GTOp (Game-theoretically optimal reconciliation), гарантирующий неухудшение качества прогнозов после проведения процедуры согласования по сравнению с качеством прогнозов, полученных для каждого временного ряда независимо. Подход базируется на поиске равновесия Нэша в антагонистической игре заданного вида и сводит задачу согласования прогнозов к задаче оптимизации с ограничениями типа равенства и неравенства.

• Стенина М.М., Стрижов В.В. Согласование прогнозов при решении задач прогнозирования иерархических временных рядов // Информатика и ее применения, 2015. текст, код.
• Стенина М.М. Согласование прогнозов в задачах прогнозирования иерархических временных рядов (квалификационная работа магистра), SteninaMSThesis.pdf.

Решается задача определения оптимального уровня агрегирования временных рядов. Предлагается выполнять прогноз временных рядов, агрегированных по кластерам. Кластеры определяются путем сравнения распределений временных рядов с помощью дивергенции Кульбака-Лейблера.

• Мотренко А.П., Стрижов В.В. Построение агрегированных прогнозов объемов железнодорожных грузоперевозок c использованием расстояния Кульбака-Лейблера // Информатика и ее применения, 2014, 8(2) — 86-97.
• Ссылки на текст и код.

Отчеты по проекту

• Этап 1, обоснование и выбор направления исследований: RND_Report_CCAS_RZD_Part1.pdf.
• Этап 2, исследование и разработка математической модели прогнозирования: RND_Report_CCAS_RZD_Part2.pdf.
• Этап 3, проведение вычислительных экспериментов, обобщение результатов: RND_Report_CCAS_RZD_Part3.pdf; приложение - отчет о дополнительных исследованиях: RND_Report_CCAS_RZD_Part3apx.pdf.
• Свидетельство о регистрации ПО: 71, 72.

Презентации

• Разработка и исследование свойств системы прогнозирования объемов грузовых железнодорожных перевозок // ММРО-17, 2015. Strijov2015mmpr.pdf.
• Короткая версия презентации: rus, eng.
• Алгоритмы иерархического прогнозирования, отчет 2018 PDF.

Презентации (рабочие версии)

• Разработка и исследование свойств системы прогнозировани объемов грузовых железнодорожных перевозок, 2015.
• Обоснование и выбор направлений исследований, исследование экзогенных факторов и их влияния на обхемы спроса на грузовые железнодорожные перевозки, 2015.
• Повышение качества прогнозирования загруженности ЖД узла путем учета внешних факторов, 2014.
• Improving the quality of forecasting railway stations occupancy by accounting for exogenous factors, 2014.
• Прогнозирование объемов грузоперевозок с учетом экзогенных факторов, 2014.
• Improving the quality of forecasting railway stations occupancy by accounting for exogenous factors, 2014.
• Согласование прогнозов иерархических временных рядов как поиск равновесия Нэша в антагонистической игре, 2014.

Анализ и сравнение моделей прогнозирования

• Визуальный отчет о тестировании системы (набор рисунков и таблиц, MK), report.pdf
• Заметки об оценке длины предыстории ряда Medvednikova2014RailRoads.pdf.
• Подход Ю.Н. Орлова к анализу нестационарных временных рядов: описание SampleSizeTS.pdf, код.
• Исследование свойств прогнозируемого ряда и анализ остатков модели: TSAnalysis.pdf