Визуально-языковая модель действий

Материал из MachineLearning.

---

Версия 16:50, 13 июля 2026

Статья написана с использованием LLM GPT-5.6 Thinking и проверена участником Egor Goroshko 20:50, 13 июля 2026 (MSD)

Визуально-языковая модель действий (англ. vision-language-action model, VLA) — мультимодальная модель, которая получает изображения окружающей среды, инструкцию на естественном языке и, при необходимости, сведения о текущем состоянии агента, а затем формирует действие или последовательность действий. Такие модели объединяют зрение, понимание языка и управление поведением.

Содержание 1 Основная идея 2 Отличие от визуально-языковой модели 3 Краткая история 4 Формальная постановка 5 Устройство модели 6 Представление действий 6.1 Дискретные токены 6.2 Непрерывное и генеративное предсказание 6.3 Блоки действий 7 Обучение VLA-моделей 8 Основные архитектурные подходы 9 Известные модели 9.1 RT-2 9.2 OpenVLA 9.3 π0 и π0.5 9.4 Gemini Robotics 10 Применение 11 Оценивание 12 Ограничения и открытые проблемы 13 Связь с близкими понятиями 13.1 Визуально-языковая модель 13.2 Воплощённый искусственный интеллект 13.3 Большая языковая модель 13.4 Имитационное обучение 13.5 Модель мира 14 Современное состояние 15 Литература

Основная идея

Обычная визуально-языковая модель (англ. vision-language model, VLM) сопоставляет изображения и текст: описывает сцену, отвечает на вопросы или находит объект по словесному запросу. VLA-модель делает следующий шаг — преобразует это понимание в действие. Её работу можно представить как замкнутый цикл:

Изображение и команда → действие → изменение среды → новое изображение

Например, по команде «положи яблоко в миску» модель должна связать слова с объектами на изображении, понять требуемый результат, выбрать действия и проверить, изменилось ли состояние сцены ожидаемым образом. Таким образом, VLA должна не только распознавать предметы, но и понимать, какие действия с ними допустимы и уместны в заданном контексте.

Отличие от визуально-языковой модели

Визуально-языковая модель обычно выдаёт текст, оценку соответствия или внутреннее представление изображения. Результатом VLA является действие, способное изменить наблюдаемую среду. Различаются и обучающие данные. VLM обучается главным образом на парах «изображение — текст», тогда как VLA дополнительно нужны записи поведения: наблюдения, инструкции и выполненные действия. После каждого шага VLA получает новую информацию о среде, поэтому должна работать в цикле с обратной связью и достаточно быстро реагировать на изменения. Визуально-языковая модель может служить основой VLA. В этом случае к уже обученной системе понимания изображений и текста добавляется компонент, преобразующий мультимодальное представление в действия.

Краткая история

Развитие VLA продолжило работы по имитационному обучению, мультимодальным моделям и обучению общих стратегий поведения. RT-1 показала, что единый трансформер может обучаться выполнению множества задач по изображениям и языковым инструкциям.^[1] В PaLM-E изображения и другие наблюдения были включены во вход большой языковой модели для решения задач воплощённого рассуждения.^[1] Термин vision-language-action model получил широкое распространение после публикации RT-2, где действия представлялись специальными токенами и обрабатывались вместе с текстом.^[1]

Формальная постановка

Пусть в момент времени модель получает изображение , языковую инструкцию и, если она доступна, дополнительную информацию о состоянии агента . VLA задаёт стратегию , определяющую распределение возможных действий: Здесь — действие, а — параметры модели. Вместо одного шага модель может сформировать блок будущих действий: где — длина блока. После выполнения одного или нескольких действий система получает новое наблюдение и повторяет вычисление. Обучающий набор можно записать как При вероятностном представлении действий параметры модели находят минимизацией отрицательного логарифма правдоподобия: Такая функция потерь поощряет модель назначать высокую вероятность действиям, содержащимся в обучающих демонстрациях.

Устройство модели

Типичная VLA включает визуальный кодировщик, языковую часть и компонент формирования действий. Визуальный кодировщик преобразует изображение в признаки, отражающие объекты, их свойства, взаимное расположение и изменения сцены. Языковая часть представляет команду в совместимой форме, а мультимодальный блок связывает слова с элементами изображения. Например, в инструкции «возьми красный предмет слева» модель должна сопоставить признаки цвета и положения с конкретным объектом. После этого компонент действий преобразует общее представление ситуации и цели в управляющий выход. Результатом может быть одно действие, последовательность дискретных команд, набор непрерывных значений, короткий блок действий или высокоуровневый план. В одних архитектурах зрение, язык и действия обрабатываются одним трансформером, в других используется отдельный декодер действий.

Представление действий

Дискретные токены

Непрерывное значение можно разбить на интервалы и представить специальным токеном: Здесь — операция дискретизации, — исходное значение, а — соответствующий токен. После этого действия предсказываются подобно словам в языковой модели. Такой подход использовался в RT-2 и OpenVLA.^[1] Он позволяет использовать стандартную архитектуру языковой модели, однако дискретизация уменьшает точность, а последовательное формирование длинной цепочки токенов повышает задержку.

Непрерывное и генеративное предсказание

Другой вариант — непосредственно выдавать числовые значения: Для обучения может использоваться ошибка между правильным и предсказанным действием: Непрерывное представление не требует превращения действий в токены и может работать быстрее. Однако простая регрессия склонна усреднять несколько допустимых вариантов поведения. Чтобы моделировать распределение возможных действий, применяют диффузионные модели и согласование потоков (англ. flow matching). Эти методы начинают со случайного сигнала и постепенно преобразуют его в согласованную последовательность действий.^[1]

Блоки действий

VLA может формировать сразу несколько будущих действий. Такой выход называют блоком действий (англ. action chunk). Блоки уменьшают число обращений к большой модели и помогают сохранять согласованность поведения. У этого решения есть компромисс. Короткие блоки обеспечивают частую обратную связь, но требуют больше вычислений. Длинные блоки выполняются быстрее, однако могут устареть после неожиданного изменения среды. Поэтому на практике часто исполняют только часть сформированной последовательности, после чего модель получает новое наблюдение.

Обучение VLA-моделей

Основным методом остаётся обучение по демонстрациям. Модель получает записи, показывающие, какое действие выполнялось при определённом наблюдении и инструкции. Демонстрации могут собираться человеком, другой автоматической системой, в виртуальной среде или путём исправления поведения уже обученной модели. Основой VLA часто служит предварительно обученная визуально-языковая модель. Она уже умеет распознавать объекты, понимать тексты и связывать слова с изображениями. Затем её дополнительно обучают на данных действий. Такой перенос знаний снижает объём специализированных данных, но не устраняет необходимость в них: знание названия и описания предмета не равнозначно умению надёжно взаимодействовать с ним. Совместное обучение может использовать изображения и текстовые описания, вопросы и ответы, языковые инструкции, записи действий, промежуточные планы и данные виртуальных сред. Это помогает сохранить общие визуальные и языковые способности, одновременно добавляя управление поведением. Данные разных агентов различаются по наблюдениям, доступным действиям и способу записи. Для их объединения вводят общий формат либо явно указывают модели тип агента. Проект Open X-Embodiment объединил данные от 22 типов роботов, собранные 21 исследовательской организацией, и показал возможность положительного переноса опыта между платформами.^[1] Для новой задачи модель можно дообучить на дополнительном наборе демонстраций. При полном дообучении изменяются все параметры, а при параметрически эффективной адаптации — только небольшая их часть. Второй способ дешевле, но может оказаться недостаточным при значительном отличии новой среды или набора действий. После имитационного обучения возможно применение обучения с подкреплением (англ. reinforcement learning). Оно позволяет улучшать поведение по оценке результата, а не только воспроизводить демонстрации, но требует безопасного сбора новых взаимодействий и корректно заданного вознаграждения.

Основные архитектурные подходы

В сквозной архитектуре изображения и инструкция непосредственно преобразуются в действия. Такой подход позволяет совместно обучать восприятие, язык и поведение, но требует много данных и затрудняет поиск причины ошибки. Иерархическая система сначала строит общий план или выделяет подзадачи, а затем формирует конкретные действия. Например, команда «убери предметы со стола» может быть разложена на поиск предметов, выбор места назначения, перемещение и проверку результата. Иерархия удобна для длительных задач, однако ошибка в разбиении команды влияет на всю дальнейшую последовательность. Гибридная система сочетает VLA с отдельными механизмами планирования, проверки и безопасности. VLA предлагает действие, а дополнительные компоненты проверяют его допустимость, контролируют выполнение и при необходимости запускают повторное планирование. Такая схема сложнее, но обычно предсказуемее полностью сквозной модели.

Известные модели

RT-2

RT-2 стала одной из первых работ, в которых был явно выделен класс VLA-моделей. Действия представлялись как специальные токены, а обучение проводилось одновременно на визуально-языковых и роботизированных данных.^[1] Авторы исследовали перенос знаний из визуально-языкового предварительного обучения на задачи выбора действий. Модель могла учитывать смысловые свойства объектов, не встречавшиеся в таком же виде в данных управления.

OpenVLA

OpenVLA — открытая VLA-модель с семью миллиардами параметров, обученная на 970 тысячах демонстраций из Open X-Embodiment.^[1] Она объединяет предварительно обученные визуальные кодировщики, языковую модель и представление действий в виде токенов. Авторы опубликовали параметры, код и средства дополнительного обучения.

π0 и π0.5

Модель π0 объединяет предварительно обученную визуально-языковую основу с генератором непрерывных действий на основе согласования потоков.^[1] Вместо последовательного формирования дискретных токенов она создаёт непрерывные блоки действий. Модель π0.5 развивает этот подход и использует совместное обучение на изображениях, языковых командах, высокоуровневых подзадачах и действиях.^[1] Авторы исследовали выполнение длительных задач в помещениях, не использовавшихся при сборе основных демонстраций.

Gemini Robotics

Gemini Robotics — семейство моделей, созданное на основе мультимодальной модели Gemini для понимания физической среды и формирования действий.^[1] В работе рассматриваются модель непосредственного формирования действий и связанная с ней модель воплощённого рассуждения, предназначенная для пространственного анализа и планирования.

Применение

VLA исследуются в задачах, где необходимо связать естественно-языковую цель с наблюдаемой ситуацией: при сортировке и перемещении предметов, выполнении бытовых инструкций, упаковке, сборке, работе в складской или производственной среде, управлении мобильными агентами и выполнении заданий в виртуальных мирах. Особенно полезны такие модели там, где невозможно заранее перечислить все формулировки команд, варианты внешнего вида предметов и условия выполнения. Вместе с тем большинство современных систем остаётся экспериментальным или работает в ограниченной среде. Успех на отдельных демонстрациях не означает надёжного выполнения произвольных задач.

Оценивание

Качество VLA нельзя оценивать только по совпадению предсказанного действия с демонстрацией: одно и то же задание нередко допускает несколько правильных способов выполнения. Поэтому главным показателем остаётся успешность всей задачи, дополненная оценкой отдельных этапов, времени выполнения, числа неудачных действий и вмешательств человека. Отдельно проверяют способность модели работать с новыми объектами, формулировками инструкций и изменённым внешним видом сцены. Существенна и устойчивость к событиям, которые происходят уже после начала выполнения: предмет может сместиться, путь — оказаться перекрытым, а первоначальный план — потерять смысл. В таких случаях модель должна заметить изменение и скорректировать поведение. Сравнение результатов разных VLA затруднено тем, что модели обучаются на разных наборах данных, используют неодинаковые пространства действий и испытываются в различных средах. Поэтому численное значение успешности имеет смысл только вместе с описанием протокола, состава задач и степени новизны испытательных условий.

Ограничения и открытые проблемы

Главным ограничением остаётся стоимость данных. Записи действий требуют оборудования, времени и участия операторов, а сами демонстрации часто собираются в небольшом числе помещений и на ограниченном наборе объектов. Из-за этого модель может усвоить особенности конкретной среды вместо общего способа решения. Простое объединение наборов также не гарантирует улучшения: данные различаются по качеству, способу записи, формату команд и критериям успеха. Ошибки восприятия, языка и действия тесно связаны. Модель может перепутать похожие предметы, неверно понять пространственное отношение или не заметить изменение сцены, после чего выбрать формально правдоподобное, но неподходящее действие. Неочевидная ошибка при анализе таких систем — считать, что наличие больших языковых знаний автоматически даёт понимание физических последствий. Текстовое знание о предмете не гарантирует правильного поведения с ним. Серьёзной проблемой остаётся накопление ошибок. Большинство VLA обучается на правильных демонстрациях, однако при самостоятельной работе первая неточность переводит систему в состояние, которое могло не встречаться в обучающих данных. Поэтому особенно важны память о выполненных этапах, обнаружение неудачи и возвращение к планированию. Оценка только финального успеха скрывает эту сторону поведения: две модели могут одинаково не выполнить задачу, хотя одна почти достигла цели и распознала ошибку, а другая потеряла её после первого шага. Перенос между агентами также далёк от решения. Общий смысл команды может сохраняться, но формы наблюдений и действий различаются. Для обучения на человеческом видео возникает дополнительная трудность: оно содержит богатую информацию о поведении, но обычно не даёт точных действий, пригодных для непосредственного обучения модели. Крупные VLA требуют значительных вычислительных ресурсов. Если вывод формируется слишком медленно, агент не успевает реагировать на изменения. Блоки действий уменьшают задержку, но реже обновляют решение по обратной связи. Поиск баланса между скоростью и адаптивностью остаётся одной из центральных инженерных задач. Наконец, VLA предсказывает вероятное действие, но не доказывает его безопасность. Для практического применения необходимы оценка неопределённости, независимые ограничения, контроль выполнения и возможность безопасно остановиться. Передача модели полного управления без таких механизмов является не следствием архитектуры VLA, а ошибкой проектирования системы. К открытым вопросам относятся обучение на собственном опыте без опасного исследования, использование звука и осязания, длительное планирование, интерпретируемость решений и разработка общих протоколов испытаний. Универсальная оценка должна учитывать не только успешность, но и способность модели понимать, когда имеющихся данных недостаточно.

Связь с близкими понятиями

Визуально-языковая модель

Визуально-языковая модель связывает изображения и текст, но обычно не формирует непосредственные действия. Она может быть основой VLA или отдельным компонентом анализа сцены и построения плана.

Воплощённый искусственный интеллект

Воплощённый искусственный интеллект — более широкое направление, изучающее агентов, которые воспринимают интерактивную среду и действуют в ней. VLA является одним из подходов к их построению, но воплощённая система может состоять и из отдельных компонентов восприятия, планирования и управления.

Большая языковая модель

Большая языковая модель способна сформировать текстовый план, но обычно не выдаёт непосредственные действия на основе текущего изображения. VLA теснее связывает язык с наблюдением и исполнением, хотя её решения часто труднее интерпретировать.

Имитационное обучение

Имитационное обучение — общий метод обучения по демонстрациям. Большинство VLA обучается с его помощью, но не всякая модель имитационного обучения использует язык или предварительно обученную мультимодальную основу.

Модель мира

Модель мира предсказывает, как изменится среда после действия, тогда как VLA прежде всего предсказывает само действие. Подходы могут дополнять друг друга: VLA предлагает действие, а модель мира оценивает его возможные последствия.

Современное состояние

К середине 2020-х годов VLA стали одним из основных подходов к созданию общих моделей поведения для воплощённых агентов. Развитие постепенно смещается от последовательного предсказания дискретных токенов к быстрому формированию непрерывных блоков действий. Одновременно растёт разнообразие обучающих данных. Модели обучают на демонстрациях разных агентов, изображениях, текстах, видео и высокоуровневых описаниях задач. Большое внимание уделяется адаптации по небольшому числу примеров, сохранению памяти о длительной задаче и обучению не только на успешных, но и на неудачных попытках. Современные системы всё чаще строятся не как полностью автономная нейронная сеть, а как часть гибридной архитектуры с отдельными механизмами проверки и безопасности. Это отражает важный сдвиг: задача состоит уже не только в том, чтобы модель могла предложить действие, но и в том, чтобы вся система могла вовремя распознать ошибку и отказаться от ненадёжного решения. Несмотря на прогресс, качество VLA по-прежнему сильно зависит от обучающих данных, устройства агента и протокола испытания. Универсальной модели, способной без дополнительной настройки надёжно выполнять произвольные задачи в открытом физическом мире, пока не существует.

Литература