Красное тестирование ИИ
Материал из MachineLearning.
| Статья написана с использованием LLM Claude Opus 4.8 и проверена участником Zarina Sibgatullina 19:40, 18 июля 2026 (MSD) |
Красное тестирование ИИ (AI red teaming) — систематическая проверка систем искусственного интеллекта путём целенаправленных попыток заставить их вести себя нежелательным образом: выдавать вредоносный контент, раскрывать конфиденциальные данные, обходить встроенные ограничения. В отличие от обычного тестирования качества, которое проверяет, работает ли система на штатных сценариях, красное тестирование ищет сценарии отказа под давлением активного противника и относится к практикам безопасности машинного обучения.
Термин заимствован из информационной безопасности, где «красной командой» (red team) называют группу, имитирующую действия реального атакующего, в противоположность «синей команде» (blue team), которая систему защищает. С распространением больших языковых моделей подход был перенесён на ИИ: здесь роль поверхности атаки играет не сетевой периметр, а поведение модели, управляемое входными данными на естественном языке.
Содержание |
Отличие от классического красного тестирования
Перенос практики на И-системы меняет несколько принципиальных вещей:
- Поверхность атаки — естественный язык. Пространство возможных входов не формализовано
и практически бесконечно, поэтому исчерпывающая проверка недостижима, а оценка носит выборочный характер.
- Недетерминированность. Один и тот же запрос может давать разные ответы, поэтому
единичное срабатывание или его отсутствие не являются надёжным выводом — нужна воспроизводимость на многих прогонах.
- Размытость критерия отказа. В классической безопасности факт взлома обычно бинарен;
вредность или уместность ответа модели часто требует содержательной оценки человеком.
- Смещение цели. Проверяются не только уязвимости к внешнему злоумышленнику, но и
нежелательное поведение модели самой по себе: предвзятость, дезинформация, небезопасные советы.
Что проверяют
Типичные направления проверки:
- обход ограничений безопасности (джейлбрейк) и перехват
управления через внешние данные (промпт-инъекция);
- выдача вредоносного или опасного содержания;
- утечка обучающих или системных данных, раскрытие скрытой системной инструкции;
- устойчивое воспроизведение предвзятости и дискриминации;
- генерация правдоподобной дезинформации.
Методы
Красное тестирование сочетает ручные и автоматические подходы:
- ручное тестирование — эксперты вручную конструируют состязательные запросы, опираясь
на понимание слабых мест модели; даёт качественные, но плохо масштабируемые результаты;
- автоматизированное тестирование — генерация состязательных запросов алгоритмически, в
том числе с помощью других языковых моделей, атакующих проверяемую (red-teaming LLM с помощью LLM); масштабируется, но требует надёжного автоматического критерия успеха;
- бенчмарки и наборы состязательных запросов — стандартизованные коллекции для
сравнимой оценки разных моделей.
Результаты красного тестирования используются в цикле улучшения: найденные сценарии отказа включают в дообучение на безопасность и в фильтры, после чего проверку повторяют — процесс носит итеративный характер.
Место в жизненном цикле модели
Красное тестирование проводят перед выпуском модели и повторяют при существенных изменениях, по аналогии с тестированием на проникновение в цикле безопасной разработки. Оно рассматривается как элемент управления рисками ИИ и входит в отраслевые рамки — например, в NIST AI Risk Management Framework — и в регуляторные требования к оценке моделей высокого риска.
Принципиальное ограничение метода в том, что он способен обнаружить наличие уязвимости, но не доказать её отсутствие: успешное прохождение проверки означает лишь, что не найдено срабатывание в рамках проверенного множества сценариев. Поэтому красное тестирование дополняют формальными и сертифицированными методами там, где они применимы.
См. также
- Безопасность машинного обучения
- Джейлбрейк языковых моделей
- Промпт-инъекция
- Состязательная атака
- Риски искусственного интеллекта
Литература
- Perez E. et al. Red Teaming Language Models with Language Models // EMNLP. — 2022. — arXiv:2202.03286.
- Ganguli D. et al. Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned. — 2022. — arXiv:2209.07858.
- Perez F., Ribeiro I. Ignore Previous Prompt: Attack Techniques For Language Models. — 2022. — arXiv:2211.09527.
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0). — 2023.
