Мультимодальное машинное обучение
Материал из MachineLearning.
|
Мультимодальное машинное обучение (Шаблон:Lang-en, MMML) — раздел машинного обучения, изучающий модели, которые одновременно работают с данными нескольких модальностей — то есть качественно разных источников информации: текста, изображений, звука, видео, показаний датчиков, молекулярных структур и др. Задача таких моделей — не просто обработать каждую модальность по отдельности, а связать их: соотнести слово «собака» с пикселями, на которых собака изображена, а лай — с её видом.
Мотивировка проста: мир по своей природе мультимодален, и человек воспринимает его сразу многими каналами. Одна и та же сущность, описанная разными модальностями, даёт взаимодополняющую информацию (подпись уточняет, что происходит на размытом фото) и избыточную (что повышает устойчивость к шуму). Именно поэтому мультимодальные модели при прочих равных нередко превосходят одномодальные — но платят за это набором специфических трудностей, о которых пойдёт речь ниже.
Что делает задачу трудной: пять проблем
Удобную систему координат задала классическая работа Балтрушайтиса, Ахуджи и Морэнси (2019), выделившая пять фундаментальных проблем, которые приходится решать в любой мультимодальной системе[1]. Эти пять пунктов — самый полезный «скелет» для понимания всей области, и мы будем к ним возвращаться.
- Представление (representation)
- Как закодировать разнородные данные в форме, пригодной для совместной обработки? Пиксели непрерывны и пространственны, текст дискретен и последователен — привести их к общему знаменателю нетривиально.
- Согласование (alignment)
- Как установить соответствия между элементами разных модальностей — например, какое слово подписи относится к какой области изображения?
- Слияние (fusion)
- Как объединить информацию модальностей для итогового решения и на каком этапе это делать?
- Перенос (translation)
- Как отобразить одну модальность в другую — сгенерировать подпись к картинке или картинку по тексту?
- Совместное обучение (co-learning)
- Как перенести знание, добытое из «богатой» модальности, на «бедную», где данных мало?
Представление: раннее и позднее слияние
Исторически различали две стратегии. При раннем слиянии признаки модальностей объединяют на входе (простейший вариант — конкатенация векторов) и дальше учат единую модель. При позднем слиянии каждую модальность обрабатывает свой блок, а объединяют уже итоговые предсказания.
Наивная конкатенация, вопреки интуиции, часто работает плохо. Причина — в разной статистике и размерности модальностей: сильный, легко обучаемый сигнал (скажем, текст) может «забить» слабый (звук), и модель фактически проигнорирует одну из ветвей. Эта патология известна как доминирование модальности; борьба с ней (балансировка градиентов, регуляризация, раздельные темпы обучения) — отдельная практическая тема.
Совместное пространство представлений и разрыв модальностей
Прорыв 2021 года — модель CLIP (Contrastive Language–Image Pre-training)[1]. Идея, восходящая к контрастному обучению: взять 400 млн пар «картинка–подпись» из интернета и обучить два кодировщика (для изображений и для текста) так, чтобы вектор картинки и вектор её настоящей подписи в общем пространстве были близки, а к чужим подписям — далеки. Параллельно и независимо ту же идею масштабировала модель ALIGN[1].
Результат оказался неожиданно мощным: CLIP умеет zero-shot-классификацию — распознаёт объекты, которым его специально не учили, просто сравнивая картинку с текстовыми описаниями классов. Это сместило акцент со «специализированных классификаторов» на «универсальные представления».
Здесь важно упомянуть неочевидный и до сих пор до конца не понятый феномен — разрыв модальностей (modality gap): в обученном совместном пространстве векторы изображений и векторы текстов образуют не одно перемешанное облако, а два раздельных кластера, разнесённых в разные области[1]. То есть «общее» пространство не так уж и общо. Разрыв возникает из-за геометрии инициализации и контрастной функции потерь и, как показали авторы, влияет на качество и справедливость модели — управление им остаётся открытым вопросом.
От кодировщиков к мультимодальным LLM
Следующий сдвиг — присоединение зрения к большим языковым моделям (LLM). Возникший класс моделей называют мультимодальными LLM (MLLM) или зрительно-языковыми моделями (VLM). Типовая архитектура состоит из трёх частей: замороженный зрительный кодировщик (обычно ViT из CLIP), обучаемый адаптер-мост и языковая модель-основа. Различаются подходы в основном устройством моста:
- Flamingo (2022) вставляет в LLM новые слои перекрёстного внимания, через которые в текст «подмешиваются» зрительные признаки[1].
- BLIP-2 (2023) вводит компактный модуль-посредник Q-Former, который извлекает из картинки небольшой набор «зрительных токенов» и подаёт их замороженной LLM; при этом обучаемых параметров на порядки меньше[1].
- LLaVA (2023) идёт ещё проще: линейная проекция зрительных признаков прямо во входное пространство LLM плюс дообучение на инструкциях. Простота и открытость сделали LLaVA рабочей лошадкой исследований[1].
Именно эта линия привела к массовым моделям общего назначения (GPT-4o, Gemini, Claude и др.), которые «из коробки» понимают изображения, а часто и звук с видео. Показательно, что BLIP-2 обошёл 80-миллиардный Flamingo на zero-shot VQA, имея в десятки раз меньше обучаемых параметров, — наглядная иллюстрация того, что в мультимодальности архитектура моста порой важнее грубого масштаба.
Задачи и приложения
Мультимодальные модели покрывают широкий спектр задач:
- Понимание: визуальные вопросы-ответы (VQA), генерация подписей к изображениям, поиск «текст ↔ картинка».
- Генерация и перенос: синтез изображений по тексту (диффузионные модели вроде Stable Diffusion и DALL·E), синтез речи, оживление изображений в видео.
- Прикладные области: медицинская диагностика (снимок + история болезни + анализы), автономное вождение (камеры + лидар + карты), робототехника, распознавание эмоций по мимике, голосу и словам одновременно.
Как оценивают качество
Оценка мультимодальных систем сложна из-за открытого характера ответов. Сложился набор бенчмарков разной направленности: VQAv2 (классические вопросы по картинкам), MMMU (экзаменационные вопросы университетского уровня, требующие рассуждения по тексту и диаграммам), MathVista (математика по визуальным данным), MMBench и MMT-Bench (широкие батареи разнотипных задач)[1]. Отдельная головная боль — мультимодальные галлюцинации: модель уверенно описывает на изображении объекты, которых там нет, «домысливая» по языковому приору. Это прямой мостик к теме интерпретируемости и надёжности.
Открытые проблемы
- Разрыв и выравнивание модальностей. Как построить действительно единое пространство и нужно ли оно вообще — предмет активных споров.
- Дисбаланс модальностей. Сильные каналы подавляют слабые; универсального рецепта балансировки нет.
- Данные. Качественные размеченные мультимодальные корпуса дороги; веб-пары «картинка–подпись» шумны и несбалансированы по языкам и культурам, что переносит смещения в модель.
- За пределами «текст + картинка». Звук, видео, 3D, временные ряды, графы, тактильные и биологические сигналы интегрированы гораздо слабее; по-настоящему «любой-к-любому» (any-to-any) моделей пока мало.
- Оценка и галлюцинации. Бенчмарки быстро насыщаются и попадают в обучающие данные; надёжных метрик достоверности недостаёт.
- Вычислительная стоимость. Обучение крупных VLM требует ресурсов, доступных единицам лабораторий (см. Малые языковые модели о встречном движении к компактным моделям).
Систематический разбор современного состояния области дают обзоры Лян и Морэнси (2024)[1] и недавние обзоры по VLM/MLLM[1].
См. также
- Большие языковые модели
- Малые языковые модели
- Agentic AI
- Explainable AI
- Смещение данных: bias in ML
- Генерация синтетических данных
Примечания
Ссылки
- CLIP (Radford et al., 2021) — статья, задавшая моду на совместные представления
- LLaVA — открытая мультимодальная LLM и код обучения
- Foundations and Trends in Multimodal ML — развёрнутый современный обзор
