Нейронные дифференциальные уравнения

Материал из MachineLearning.

Перейти к: навигация, поиск
Статья написана с использованием LLM Claude Sonnet 5 и проверена участником Daria Makeeva 00:15, 17 июля 2026 (MSD)


Содержание

Нейронные дифференциальные уравнения (англ. neural differential equations, NDE) — класс моделей машинного обучения, в которых преобразование скрытого представления данных задаётся не последовательностью дискретных слоёв, а решением дифференциального уравнения, правая часть которого параметризована нейросетью. Наиболее известный представитель этого класса — нейронное обыкновенное дифференциальное уравнение (англ. neural ordinary differential equation, Neural ODE), в котором динамика скрытого состояния описывается обыкновенным дифференциальным уравнением \dot{h}(t) = f_\theta(h(t), t). Идея была впервые систематически развита в статье Chen et al., представленной на конференции NeurIPS в 2018 году[1].

Идея непрерывной глубины

Классическая глубокая нейросеть преобразует входной вектор через конечную последовательность слоёв с номерами t = 0, 1, \dots, L. В сетях с остаточными связями (residual connections, ResNet) выход каждого слоя вычисляется как сумма входа и некоторой поправки[1]:

h_{t+1} = h_t + f(h_t, \theta_t)

Если рассмотреть эту формулу как шаг явного метода Эйлера с единичным шагом по времени для дифференциального уравнения \dot h(t) = f_\theta(h(t), t), то дискретная глубина t \in \{0, 1, \dots, L\} естественно переходит в непрерывный параметр t \in [0, T] \subset \mathbb{R}. Таким образом, ResNet можно рассматривать как одну из возможных дискретизаций непрерывной динамики, а Neural ODE — как предел этой дискретизации при устремлении шага сетки к нулю и замене фиксированного числа слоёв на численный решатель дифференциального уравнения.

Такая переформулировка полезна по нескольким причинам. Во-первых, «глубина» сети становится настраиваемым параметром точности: решатель ОДУ сам выбирает число шагов интегрирования, необходимое для достижения заданной точности, что даёт явный контроль над соотношением «точность / время вычисления». Во-вторых, преобразование становится естественным образом обратимым (при выполнении условий существования и единственности решения задачи Коши), что удобно для генеративных моделей. В-третьих, модель напрямую применима к данным, наблюдаемым в произвольные, в том числе нерегулярные моменты времени, что востребовано при работе с временными рядами.

Формальная постановка

Пусть h(t) \in \mathbb{R}^D — скрытое состояние модели, f_\theta: \mathbb{R}^D \times \mathbb{R} \to \mathbb{R}^D — функция динамики, заданная нейросетью с параметрами \theta. Модель определяется задачей Коши:

\frac{dh(t)}{dt} = f_\theta(h(t), t), \qquad h(t_0) = h_0

Выход модели — значение решения в конечный момент времени, представимое как интеграл:

h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dt

Поскольку функция f_\theta в общем случае произвольна и нелинейна, аналитическое интегрирование невозможно, и для вычисления выхода применяется численный решатель ОДУ (методы Рунге — Кутты, Адамса, Дормана — Принса и др.):

h(t_1) = \text{ODESolve}(h(t_0), f_\theta, t_0, t_1, \theta)

Решатель выступает как «чёрный ящик» с адаптивным шагом, автоматически подбирающий число вычислений f_\theta исходя из заданной допустимой ошибки.

Обучение: adjoint-метод

Обучение модели градиентными методами требует вычисления производной функции потерь L(h(t_1)) по параметрам \theta. Прямолинейный способ — дифференцировать саму численную схему решателя («обратное распространение сквозь решатель»), сохраняя все промежуточные активации на прямом проходе. Такой подход применим, но имеет два существенных недостатка: линейный по числу шагов решателя расход памяти и накопление ошибки дифференцирования, поскольку дифференцируется не точное, а приближённое решение.

Chen et al. предложили альтернативу — метод сопряжённых переменных (adjoint sensitivity method), известный в теории оптимального управления и адаптированный для обучения нейросетей[1]. Вводится сопряжённая переменная a(t) = \frac{\partial L}{\partial h(t)}, динамика которой описывается собственным дифференциальным уравнением, решаемым обратно во времени:

\frac{da(t)}{dt} = -a(t)^\top \frac{\partial f_\theta(h(t), t)}{\partial h}

с начальным условием a(t_1) = \frac{\partial L}{\partial h(t_1)}, известным сразу после прямого прохода. Градиент по параметрам получается интегрированием ещё одного сопряжённого уравнения вдоль той же траектории:

\frac{\partial L}{\partial \theta} = -\int_{t_1}^{t_0} a(t)^\top \frac{\partial f_\theta(h(t), t)}{\partial \theta}\, dt

Ключевое практическое следствие: на обратном проходе состояние h(t) восстанавливается заново путём решения исходного уравнения назад во времени совместно с сопряжёнными переменными, а не хранится в памяти. Это даёт константный расход памяти O(1) по числу шагов решателя — вместо O(\tilde L) у метода прямого дифференцирования, где \tilde L — число вызовов функции динамики. Матрично-векторные произведения a(t)^\top \partial f_\theta/\partial h и a(t)^\top \partial f_\theta/\partial \theta вычисляются автоматическим дифференцированием без явного построения якобиана.

Связь с непрерывными нормализующими потоками

Нормализующие потоки (normalizing flows) — явные генеративные модели, задающие обратимое преобразование z_1 = f_\theta(z_0) простого распределения p_0 в сложное распределение данных с явным пересчётом плотности через формулу замены переменных:

\log p_1(z_1) = \log p_0(z_0) - \log \left|\det \frac{\partial f_\theta}{\partial z_0}\right|

Вычисление логарифма определителя якобиана в общем случае требует O(D^3) операций, что вынуждает ограничивать класс допустимых преобразований (например, до планарных потоков) и снижает выразительность модели.

Непрерывные нормализующие потоки (continuous normalizing flows, CNF) заменяют последовательность дискретных обратимых преобразований на нейронное ОДУ dz/dt = f_\theta(z(t), t). Если f_\theta липшицева по z и непрерывна по t, то эволюция логарифма плотности вдоль траектории задаётся мгновенным изменением следа якобиана (instantaneous change of variables formula):

\frac{\partial \log p(z(t))}{\partial t} = -\operatorname{tr}\!\left(\frac{\partial f_\theta}{\partial z(t)}\right)

Вычисление следа якобиана обходится дешевле, чем вычисление определителя, и не накладывает структурных ограничений на f_\theta, что делает CNF более выразительными при сравнимых вычислительных затратах. Дальнейшим развитием этого подхода стала модель FFJORD (Free-Form Jacobian of Reversible Dynamics), в которой след якобиана оценивается стохастически методом Хатчинсона, что позволяет использовать полностью неограниченные («free-form») архитектуры динамики[1].

История и практические результаты

Идея интерпретировать глубокие сети как дискретизацию динамических систем высказывалась в работах по анализу ResNet и обратимых архитектур ещё до 2018 года, но систематическая формулировка Neural ODE с обучением через сопряжённые уравнения и демонстрацией практических преимуществ принадлежит статье Chen, Rubanova, Bettencourt и Duvenaud, представленной на NeurIPS 2018[1]. Авторы продемонстрировали модель на трёх задачах: классификации изображений MNIST (модель ODE-Net при сравнимом с ResNet качестве использовала втрое меньше параметров и константную память), обучении латентных траекторий временных рядов (Latent ODE превзошла RNN по точности реконструкции и экстраполяции нерегулярно наблюдаемых спиралей) и построении непрерывных нормализующих потоков.

Заявленные практические преимущества включали:

  • Постоянный расход памяти относительно «глубины» (числа вызовов решателя) благодаря adjoint-методу, в отличие от линейного роста памяти у ResNet и у наивного дифференцирования решателя.
  • Адаптивную точность — решатель ОДУ автоматически регулирует число шагов интегрирования, что даёт явный гиперпараметр для управления соотношением скорости и точности вычислений.
  • Естественную работу с нерегулярными по времени данными, поскольку модель определена для любого t, а не только для целочисленных индексов слоёв.

Последующие исследования выявили ряд ограничений. Dupont, Doucet и Teh (Augmented Neural ODEs, NeurIPS 2019) показали, что траектории решения ОДУ в исходном пространстве состояний не могут пересекаться, из-за чего Neural ODE не способны представить некоторые простые функции (например, отображения, требующие «переброса» точек через друг друга); предложенное решение — расширение пространства состояний дополнительными «пустыми» измерениями (Augmented Neural ODE, ANODE)[1]. Также было отмечено, что по мере обучения динамика функции f_\theta может становиться всё более сложной и численно жёсткой (stiff), что приводит к резкому росту числа вызовов решателя, нестабильности обучения и взрывному росту функции потерь; эта проблема отчасти решается регуляризацией динамики и augmentation-подходами. Отдельное направление исследований посвящено выбору численных решателей и регуляризации, устойчивых к жёсткости системы при сохранении низких вычислительных затрат.

Обобщения

Помимо Neural ODE, к семейству нейронных дифференциальных уравнений относят:

  • Нейронные контролируемые дифференциальные уравнения (neural controlled differential equations) — обобщение для моделирования функций от нерегулярно наблюдаемых временных рядов с внешним управляющим сигналом.
  • Нейронные стохастические дифференциальные уравнения (neural stochastic differential equations) — добавление диффузионного (шумового) члена, используемое для построения генеративных моделей сложных стохастических процессов.
  • Универсальные дифференциальные уравнения (universal differential equations, UDE) — гибридные модели, в которых известные из первых принципов члены уравнения (например, уравнения Лотки — Вольтерры) дополняются поправочными членами, параметризованными нейросетью.

См. также

Примечания

Литература

  • Chen R.T.Q., Rubanova Y., Bettencourt J., Duvenaud D.K. Neural Ordinary Differential Equations // Advances in Neural Information Processing Systems (NeurIPS). — 2018. — Т. 31. — № arXiv:1806.07366.
  • Grathwohl W., Chen R.T.Q., Bettencourt J., Sutskever I., Duvenaud D. FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models // International Conference on Learning Representations (ICLR). — 2019. — № arXiv:1810.01367.
  • Dupont E., Doucet A., Teh Y.W. Augmented Neural ODEs // Advances in Neural Information Processing Systems (NeurIPS). — 2019. — № arXiv:1904.01681.
  • He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2016. — С. 770–778.
  • Kidger P. On Neural Differential Equations // DPhil thesis, University of Oxford. — 2022. — № arXiv:2202.02435.
  • Kingma D.P., Welling M. Auto-Encoding Variational Bayes // arXiv preprint. — 2013. — № arXiv:1312.6114.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D0%B4%D0%B8%D1%84%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5_%D1%83%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F»
Личные инструменты