Нейронное планирование движения робота

Материал из MachineLearning.

Перейти к: навигация, поиск
Статья написана с использованием LLM GPT-5.6 Sol и проверена участником Kirill Solovev 14:48, 19 июля 2026 (MSD)


Содержание

Нейронное планирование движения робота (neural motion planning) — семейство методов планирования движения, в которых нейронная сеть используется для построения пути, выбора перспективных состояний, оценки стоимости движения или ускорения классического алгоритма поиска. По начальному состоянию робота, целевому состоянию и описанию препятствий планировщик должен найти допустимый путь или траекторию, по которой робот сможет достичь цели без столкновений и нарушения заданных ограничений.

Нейронное планирование не является одним определённым алгоритмом. Нейронная сеть может предсказывать весь путь, последовательно выбирать промежуточные конфигурации, направлять поиск A*, формировать распределение выборок для PRM или RRT либо задавать начальное приближение для оптимизации траектории. На практике особенно важны гибридные методы, в которых обучаемая модель ускоряет поиск, а проверка столкновений, кинематических и динамических ограничений выполняется отдельными алгоритмами.

Планирование движения отвечает на вопрос «как робот должен переместиться из одного состояния в другое». Оно отличается от планирования задач, определяющего последовательность высокоуровневых действий, например «взять деталь, перенести её и положить в контейнер», а также от управления, которое вычисляет команды приводам во время исполнения траектории.

Постановка задачи

Пусть известны:

  • модель геометрии и кинематики робота;
  • начальное состояние робота;
  • целевое состояние или целевая область;
  • описание неподвижных или движущихся препятствий;
  • ограничения на допустимые положения, скорости, ускорения и управляющие воздействия;
  • критерий качества движения.

Необходимо построить допустимое движение от начального состояния к цели. Если допустимых движений несколько, планировщик может искать движение с наименьшей длиной, временем исполнения, энергозатратами или другой стоимостью.

Рабочее пространство

Рабочее пространство (workspace) — физическое пространство, в котором находится робот и окружающие его объекты. Для наземного мобильного робота его часто приближённо считают двумерным, а для манипулятора или беспилотного летательного аппарата — трёхмерным.

Рабочее пространство обозначим через \mathcal{W}. Препятствия образуют множество \mathcal{O}\subseteq\mathcal{W}. Их описание может быть задано геометрическими примитивами, полигональной моделью, облаком точек, картой занятости или знаковым полем расстояний.

Планировать только движение некоторой условной точки робота обычно недостаточно. Необходимо учитывать размеры и форму всех его звеньев.

Конфигурационное пространство

Конфигурация — набор параметров, полностью определяющих положение всех частей робота. Конфигурацию обычно обозначают вектором q.

Например, для плоского мобильного робота конфигурация может иметь вид q=(x,y,\theta), где x и y задают положение, а \theta — ориентацию. Для манипулятора с n вращательными шарнирами конфигурацией может быть вектор углов q=(q_1,\ldots,q_n).

Множество всех возможных конфигураций называется конфигурационным пространством (configuration space) и обозначается через \mathcal{C}. Его размерность обычно связана с числом степеней свободы робота. Одна точка в \mathcal{C} соответствует положению всего робота в рабочем пространстве.

Пусть A(q)\subseteq\mathcal{W} — область рабочего пространства, занимаемая роботом в конфигурации q. Тогда множество конфигураций, приводящих к столкновению с препятствиями, можно записать как

\mathcal{C}_{\mathrm{obs}}=\{q\in\mathcal{C}\mid A(q)\cap\mathcal{O}\ne\emptyset\}.

При необходимости в \mathcal{C}_{\mathrm{obs}} также включают конфигурации, в которых происходит самостолкновение различных звеньев робота.

Свободное пространство (free space) состоит из конфигураций без столкновений:

\mathcal{C}_{\mathrm{free}}=\mathcal{C}\setminus\mathcal{C}_{\mathrm{obs}}.

Таким образом, задача обхода физических препятствий преобразуется в задачу поиска кривой внутри \mathcal{C}_{\mathrm{free}}.

Путь и траектория

Путь (path) описывает последовательность конфигураций без указания времени. Для начальной конфигурации q_{\mathrm{start}} и целевой конфигурации q_{\mathrm{goal}} требуется найти непрерывное отображение

\sigma:[0,1]\to\mathcal{C}_{\mathrm{free}},\qquad \sigma(0)=q_{\mathrm{start}},\qquad \sigma(1)=q_{\mathrm{goal}}.

Условие \sigma(s)\in\mathcal{C}_{\mathrm{free}} должно выполняться для каждого s\in[0,1]. Поэтому проверить только отдельные промежуточные точки недостаточно: столкновение может возникнуть на участке между ними.

Траектория (trajectory) дополнительно задаёт изменение состояния во времени. В состояние могут входить не только координаты, но и скорости робота. Если динамика имеет вид

\dot{x}(t)=f(x(t),u(t)),

то планировщик должен найти состояние x(t) и управление u(t), удовлетворяющие динамике, граничным условиям и ограничениям:

x(0)=x_{\mathrm{start}},\qquad x(T)=x_{\mathrm{goal}},\qquad x(t)\in\mathcal{X}_{\mathrm{free}},\qquad u(t)\in\mathcal{U}.

Поиск пути с учётом дифференциальных ограничений и динамики называют кинодинамическим планированием (kinodynamic planning). Геометрически допустимый путь не обязательно является динамически выполнимой траекторией: например, автомобиль не может мгновенно повернуться на месте или изменить скорость скачком.

Столкновение и запас до препятствия

Столкновением считается пересечение геометрии робота с препятствием, другим роботом или недопустимой частью среды. В практической системе также учитывают самостолкновения, ограничения шарниров и безопасный запас до объектов.

Минимальный запас вдоль пути можно определить как

d_{\mathrm{clear}}(\sigma)=\min_{s\in[0,1]}\operatorname{dist}(A(\sigma(s)),\mathcal{O}).

Путь с положительным запасом обычно устойчивее к ошибкам локализации, неточности модели робота и отклонениям системы управления, чем путь, проходящий вплотную к препятствию.

Стоимость пути

Допустимость отвечает на вопрос, можно ли выполнить движение, а стоимость пути (path cost) позволяет сравнивать разные допустимые решения. В общем виде стоимость задаётся функционалом

J(\sigma)=\int_0^1 c(\sigma(s),\dot{\sigma}(s))\,ds.

Если требуется минимизировать длину пути в выбранной метрике конфигурационного пространства, используют выражение

J_{\mathrm{len}}(\sigma)=\int_0^1 \|\dot{\sigma}(s)\|_M\,ds,

где матрица M задаёт относительный вес различных координат. Это важно, например, когда изменение разных углов манипулятора имеет различную физическую цену.

Стоимость также может учитывать время движения, расход энергии, плавность, близость к препятствиям, вероятность столкновения и величину управляющих воздействий. Между этими критериями часто существует компромисс.

Простой пример

Рассмотрим плоский манипулятор с двумя вращательными шарнирами. Его конфигурация задаётся двумя углами:

q=(q_1,q_2).

В рабочем пространстве звенья манипулятора движутся по сложным кривым. Однако в двумерном конфигурационном пространстве каждое положение всего манипулятора представлено одной точкой. Препятствие в рабочем пространстве превращается в некоторую область \mathcal{C}_{\mathrm{obs}} на плоскости углов.

Прямая линия между начальной и целевой точками в конфигурационном пространстве может пересекать эту запрещённую область. Тогда планировщик должен построить обходной путь. Классический алгоритм исследует свободное пространство по определённым правилам. Нейронная модель, обученная на ранее решённых примерах, может сразу предположить, с какой стороны препятствия обычно проходит удачный путь. Однако предложенный ею участок всё равно необходимо проверить на столкновения.

Этот пример показывает основную роль обучения: оно помогает направить вычислительный поиск, но само по себе не делает непроверенный путь допустимым.

Классические основы

Нейронные планировщики обычно сравнивают с классическими методами или используют такие методы в качестве своих компонентов.

A*

A* — алгоритм поиска кратчайшего пути в графе. Для вершины n он использует оценку

f(n)=g(n)+h(n),

где g(n) — стоимость уже пройденного участка, а h(n) — эвристическая оценка оставшейся стоимости до цели. Если эвристика не завышает истинную оставшуюся стоимость и выполнены стандартные условия поиска, A* находит оптимальный путь в заданном графе.

Для планирования движения граф может быть получен дискретизацией пространства или построен другим алгоритмом. В пространствах большой размерности число исследуемых вершин способно стать очень большим. Нейронная сеть может обучаться предсказывать эвристику или карту направляющих стоимостей, чтобы A* раньше рассматривал перспективные области.

PRM

Метод вероятностных дорожных карт (probabilistic roadmap, PRM) случайно выбирает допустимые конфигурации и пытается соединить близкие конфигурации простым локальным планировщиком. Полученный граф отражает связность свободного пространства. После добавления начальной и целевой конфигураций путь ищется по этому графу.

В первоначальном описании PRM этап построения карты иногда назывался фазой обучения, но это не означало обучение нейронной сети. В современных гибридных методах распределение точек для PRM действительно может быть обучено по данным.

При выполнении соответствующих предположений PRM обладает вероятностной полнотой: если допустимый путь существует, вероятность его обнаружения стремится к единице при увеличении числа выборок.

RRT

Быстро исследующее случайное дерево (rapidly-exploring random tree, RRT) постепенно выращивает дерево из начального состояния в направлении случайно выбранных конфигураций. Метод особенно удобен для пространств высокой размерности и задач с дифференциальными ограничениями.

Обычный RRT предназначен прежде всего для быстрого поиска допустимого решения и не гарантирует оптимальность найденного пути. Варианты семейства RRT*, при дополнительных условиях, обладают асимптотической оптимальностью. Нейронная модель может менять распределение выборок, предсказывать достижимость локальных переходов или выбирать направление расширения дерева.

Оптимизация траекторий

В методах оптимизации траектория представляется последовательностью опорных точек, полиномом или сплайном. Затем минимизируется функция, объединяющая плавность, длину, расстояние до препятствий и другие критерии. Например, CHOMP использует градиентную оптимизацию функционала траектории.

Такие методы способны получать гладкие решения, но невыпуклость задачи делает результат зависимым от начального приближения. Нейронный планировщик может предлагать хорошую начальную траекторию или обучаемый априорный закон распределения траекторий.

Роль машинного обучения

Главное преимущество машинного обучения состоит в возможности использовать структуру, повторяющуюся в семействе задач. Например, промышленный манипулятор многократно работает в сходных ячейках, а мобильный робот встречает похожие коридоры, двери и способы обхода препятствий. Классический планировщик решает каждый новый запрос почти независимо, тогда как обучаемая модель может переносить опыт предыдущих решений.

Пусть e_\phi(\mathcal{O}) — полученное нейронной сетью представление среды. Планировщик может приближать отображение

F_\theta(e_\phi(\mathcal{O}),q_{\mathrm{start}},q_{\mathrm{goal}})=(q_1,\ldots,q_K),

где q_1,\ldots,q_K — промежуточные конфигурации предполагаемого пути.

Описание среды может поступать в виде карты занятости, изображения, облака точек, набора геометрических объектов или поля расстояний. Для обработки карт применяют свёрточные сети, для облаков точек — архитектуры, инвариантные к перестановке точек, а для дорожных карт — графовые нейронные сети.

Обучаемая эвристика поиска

Нейронная сеть может оценивать оставшуюся стоимость пути или формировать карту предпочтительных направлений. Классический поиск при этом сохраняет явный граф и процедуру раскрытия вершин.

В методе Neural A* нейронный кодировщик строит направляющую карту для дифференцируемого варианта A*. Модель обучается по эталонным путям и стремится уменьшить число лишних раскрытых вершин, сохраняя высокое качество найденного пути.

Произвольная нейронная оценка не обязана быть допустимой эвристикой в смысле A*. Если она завышает истинную стоимость, стандартная гарантия оптимальности может быть потеряна. Поэтому обучаемую оценку можно использовать только для изменения порядка поиска либо сочетать с ограничениями, сохраняющими свойства базового алгоритма.

Обучаемое распределение выборок

В PRM и RRT значительная часть времени тратится на получение и проверку конфигураций, не помогающих найти путь. Вместо равномерного распределения можно обучить условное распределение

p_\theta(q\mid \mathcal{O},q_{\mathrm{start}},q_{\mathrm{goal}}),

которое чаще создаёт выборки около полезных участков свободного пространства: проходов, областей поворота или ранее наблюдавшихся решений.

В работе Брайана Ихтера, Джеймса Харрисона и Марко Павоне для этой цели использовался условный вариационный автоэнкодер. В рассмотренных авторами задачах обучаемые выборки ускоряли поиск и сходимость к решениям малой стоимости. При этом нейронная модель не заменяла базовый выборочный планировщик.

Чтобы не полностью зависеть от обученного распределения, используют смесь нейронных и базовых выборок:

p_{\mathrm{mix}}(q\mid c)=(1-\varepsilon)p_\theta(q\mid c)+\varepsilon p_{\mathrm{base}}(q),\qquad 0<\varepsilon\leq 1,

где c обозначает условия задачи. Если базовое распределение имеет ненулевую вероятность исследовать всё необходимое свободное пространство и выполнены остальные предположения планировщика, такая смесь может сохранить его вероятностную полноту.

Непосредственное предсказание пути

Нейронная сеть может последовательно предсказывать следующую конфигурацию, пока два фронта пути не соединятся. Такой подход лежит в основе Motion Planning Networks (MPNet). В MPNet описание среды кодируется по облаку точек, после чего планирующая сеть получает представление среды, текущую конфигурацию и цель.

Преимущество непосредственного предсказания состоит в небольшом времени одного шага вывода. Недостаток заключается в отсутствии общей гарантии, что сеть всегда выдаст непрерывный и свободный от столкновений путь. Поэтому MPNet включает процедуры перепланирования и проверки полученных участков. Если нейронный этап не справляется, возможен переход к классическому планировщику.

Регрессия единственного пути также сталкивается с неоднозначностью. Если препятствие можно обойти слева и справа, усреднение двух правильных демонстраций способно дать неправильный путь через препятствие. Для представления нескольких вариантов применяют вероятностные и генеративные модели.

Генеративные модели траекторий

Генеративные модели обучаются не только выдавать одну траекторию, но и приближать распределение возможных решений. Это полезно, когда задача имеет несколько качественно различных путей.

В методе Motion Planning Diffusion диффузионная модель используется как априорное распределение траекторий, полученное из ранее решённых задач. Во время обратного диффузионного процесса траектория дополнительно направляется градиентами стоимости конкретной сцены. Такой подход позволяет сочетать изученную структуру движений с явными требованиями новой задачи.

Генеративная модель не гарантирует допустимость каждого образца. Полученные траектории необходимо проверять, ранжировать по стоимости и при необходимости дорабатывать оптимизатором.

Обучаемый локальный планировщик

В гибридной системе нейронная сеть может отвечать не за глобальный путь, а за короткий переход между соседними состояниями. Она обучается выбирать управление с учётом динамики, наблюдений и локальных препятствий, тогда как глобальный алгоритм соединяет области, между которыми такой переход достаточно надёжен.

В PRM-RL локальная политика, обученная методом обучения с подкреплением, использовалась как средство перехода между вершинами вероятностной дорожной карты. В опубликованных экспериментах этот подход позволил объединить локальное управление с долгосрочным планированием для наземной и воздушной навигации. Этот результат показывает, что глобальный поиск и обученная политика могут дополнять друг друга, а не обязательно заменять друг друга.

Обучаемые модели стоимости и динамики

Нейронные сети также применяют как приближения:

  • функции стоимости до цели;
  • вероятности успешного локального перехода;
  • расстояния до столкновения;
  • динамики робота;
  • ошибки исполнения траектории;
  • времени или энергозатрат движения.

Такие приближения могут значительно ускорить оценку кандидатов. Однако ошибка нейронной модели стоимости обычно влияет на качество решения, а ошибка модели столкновений или динамики способна привести к физически опасному движению. Поэтому требования к проверке зависят от роли обучаемого компонента.

Обучение нейронного планировщика

Данные

При обучении с учителем набор данных состоит из задач и найденных для них решений:

\mathcal{D}=\{(\mathcal{O}_i,q_{\mathrm{start},i},q_{\mathrm{goal},i},\sigma_i^*)\}_{i=1}^N.

Эталонные пути \sigma_i^* обычно строят классическим планировщиком, оптимизатором траекторий, моделированием или человеческими демонстрациями. Создание набора может потребовать значительных вычислений, но эти затраты амортизируются, если обученная модель используется для большого числа похожих запросов.

Важно хранить не только успешные пути, но и информацию о неудачных соединениях, столкновениях и трудных областях пространства. Иначе модель может плохо различать геометрически близкие, но качественно разные ситуации.

Функция потерь

При непосредственном предсказании траектории функция потерь может объединять несколько слагаемых:

L(\theta)=\lambda_{\mathrm{demo}}L_{\mathrm{demo}}+\lambda_{\mathrm{col}}L_{\mathrm{col}}+\lambda_{\mathrm{smooth}}L_{\mathrm{smooth}}+\lambda_{\mathrm{goal}}L_{\mathrm{goal}}.

Здесь L_{\mathrm{demo}} измеряет отклонение от эталонной траектории, L_{\mathrm{col}} штрафует близость к препятствиям, L_{\mathrm{smooth}} — резкие изменения движения, а L_{\mathrm{goal}} — недостижение цели.

Штраф за столкновения часто строят по дифференцируемому полю расстояний. Однако малое значение такого штрафа не является формальным доказательством отсутствия столкновений, особенно если поле расстояний или геометрия были аппроксимированы.

Способы обучения

Основные способы обучения включают:

  • имитацию планировщика — сеть воспроизводит пути или решения классического алгоритма;
  • обучение с подкреплением — политика максимизирует награду за достижение цели, малую стоимость и отсутствие столкновений;
  • самообучение — робот или симулятор создаёт новые задачи, проверяет решения и добавляет успешные примеры;
  • обучение генеративной модели — сеть приближает распределение допустимых траекторий или полезных конфигураций;
  • совместное обучение с дифференцируемым поиском — ошибка конечного пути распространяется через обучаемые компоненты поиска.

Обучение с подкреплением особенно полезно для локального управления и взаимодействия с динамикой, но выбор награды может приводить к нежелательным стратегиям. Имитационное обучение обычно стабильнее, однако ограничено качеством и разнообразием демонстраций.

Обобщение

От нейронного планировщика требуется работа не только в сценах из обучающей выборки, но и при новых расположениях препятствий, начальных состояниях и целях. Отдельно проверяют:

  • интерполяцию между знакомыми условиями;
  • перенос на новые геометрические сцены;
  • изменение числа и формы препятствий;
  • перенос на другую модель робота;
  • устойчивость к шуму карты и локализации;
  • перенос из симуляции на физического робота.

Хороший результат на случайном разбиении одного набора данных не доказывает способность планировщика работать в структурно новых средах.

Гарантии и безопасность

Для оценки планировщика различают несколько свойств.

Полнота
Гарантия найти решение, если оно существует. Для случайных методов чаще рассматривают вероятностную полноту.
Оптимальность
Гарантия найти путь минимальной стоимости либо приближаться к нему при увеличении вычислительного бюджета.
Допустимость
Отсутствие столкновений и выполнение кинематических, динамических и иных ограничений.
Устойчивость
Способность сохранять работоспособность при ошибках восприятия, модели и управления.

У непосредственного нейронного предсказателя в общем случае нет полноты или оптимальности. Эти свойства могут частично сохраняться в гибридной системе, если нейронная сеть только меняет порядок исследования, предлагает дополнительные выборки или начальные приближения, а базовый алгоритм продолжает исследовать всё необходимое пространство.

Безопасная практическая схема может включать:

  1. получение одного или нескольких кандидатов нейронной моделью;
  2. непрерывную проверку всех участков на столкновения;
  3. проверку ограничений шарниров, скоростей, ускорений и динамики;
  4. оптимизацию и временную параметризацию пути;
  5. отказ от выполнения при недостаточном запасе безопасности;
  6. переход к классическому планировщику при неудаче;
  7. повторное планирование по новым данным датчиков во время движения.

Особенно опасны ложноотрицательные ошибки нейронного детектора столкновений, когда недопустимая конфигурация считается свободной. Поэтому в системах с высокими требованиями к безопасности обычно применяют независимую геометрическую проверку или консервативные границы.

Ограничения

К основным ограничениям нейронного планирования относятся:

  • зависимость от распределения обучающих задач;
  • высокая стоимость создания эталонных траекторий;
  • трудности с узкими проходами и редкими конфигурациями;
  • отсутствие общих гарантий у непосредственных предсказателей;
  • неоднозначность задач с несколькими различными решениями;
  • накопление ошибки при последовательном предсказании точек;
  • расхождение между симуляцией и физическим роботом;
  • изменение препятствий во время вычисления и исполнения плана;
  • необходимость учитывать погрешности восприятия и управления;
  • сложность интерпретации причины неудачного решения.

Быстрый вывод нейронной сети не означает, что весь процесс планирования будет быстрым. Проверка столкновений, исправление пути и многократные попытки генерации могут занимать больше времени, чем сама работа сети.

Оценка качества

Нейронный планировщик следует сравнивать с классическими и гибридными базовыми методами при одинаковых ограничениях времени и вычислительных ресурсов. Обычно измеряют:

  • долю задач, для которых найден допустимый путь;
  • время до первого допустимого решения;
  • число проверок столкновений;
  • длину или полную стоимость пути;
  • минимальный запас до препятствий;
  • плавность и динамическую выполнимость;
  • долю успешных исполнений на роботе;
  • устойчивость к шуму и изменению среды;
  • качество в сценах, не встречавшихся при обучении.

Следует отдельно указывать время подготовки данных и обучения. Если планировщик применяется только несколько раз, эти затраты могут быть неоправданными. При большом числе однотипных запросов обучение способно существенно уменьшить среднюю стоимость одного планирования.

Для вероятностных методов результаты необходимо усреднять по нескольким запускам и приводить разброс. Проверка только успешных решений скрывает неудачи и даёт завышенную оценку качества.

Ключевые направления исследований

Развитие нейронного планирования связано с несколькими взаимодополняющими направлениями:

  • обучаемое сэмплирование для PRM, RRT и их вариантов;
  • дифференцируемый графовый поиск и обучаемые эвристики;
  • непосредственное предсказание промежуточных конфигураций;
  • генеративные распределения многовариантных траекторий;
  • совместное планирование по данным зрения, глубины и облакам точек;
  • обучение локальных политик для глобальных дорожных карт;
  • оценка неопределённости и обнаружение выхода за обучающее распределение;
  • сочетание нейронных моделей с алгоритмами, сохраняющими полноту или безопасность;
  • перенос между разными сценами и кинематическими моделями роботов.

Общая тенденция состоит не в полном отказе от классического планирования, а в разделении задач: нейронная модель использует накопленный опыт для направления поиска, а явные алгоритмы обеспечивают геометрическую проверку, соблюдение ограничений и обработку неудач.

См. также

Литература

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BF%D0%BB%D0%B0%D0%BD%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B2%D0%B8%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F_%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%B0»
Личные инструменты