Красное тестирование ИИ

Материал из MachineLearning.

---

Версия 15:40, 18 июля 2026

Статья написана с использованием LLM Claude Opus 4.8 и проверена участником Zarina Sibgatullina 19:40, 18 июля 2026 (MSD)

Красное тестирование ИИ (AI red teaming) — систематическая проверка систем искусственного интеллекта путём целенаправленных попыток заставить их вести себя нежелательным образом: выдавать вредоносный контент, раскрывать конфиденциальные данные, обходить встроенные ограничения. В отличие от обычного тестирования качества, которое проверяет, работает ли система на штатных сценариях, красное тестирование ищет сценарии отказа под давлением активного противника и относится к практикам безопасности машинного обучения.

Термин заимствован из информационной безопасности, где «красной командой» (red team) называют группу, имитирующую действия реального атакующего, в противоположность «синей команде» (blue team), которая систему защищает. С распространением больших языковых моделей подход был перенесён на ИИ: здесь роль поверхности атаки играет не сетевой периметр, а поведение модели, управляемое входными данными на естественном языке.

Содержание 1 Отличие от классического красного тестирования 2 Что проверяют 3 Методы 4 Место в жизненном цикле модели 5 См. также 6 Литература

Отличие от классического красного тестирования

Перенос практики на И-системы меняет несколько принципиальных вещей:

• Поверхность атаки — естественный язык. Пространство возможных входов не формализовано

и практически бесконечно, поэтому исчерпывающая проверка недостижима, а оценка носит выборочный характер.

• Недетерминированность. Один и тот же запрос может давать разные ответы, поэтому

единичное срабатывание или его отсутствие не являются надёжным выводом — нужна воспроизводимость на многих прогонах.

• Размытость критерия отказа. В классической безопасности факт взлома обычно бинарен;

вредность или уместность ответа модели часто требует содержательной оценки человеком.

• Смещение цели. Проверяются не только уязвимости к внешнему злоумышленнику, но и

нежелательное поведение модели самой по себе: предвзятость, дезинформация, небезопасные советы.

Что проверяют

Типичные направления проверки:

• обход ограничений безопасности (джейлбрейк) и перехват

управления через внешние данные (промпт-инъекция);

• выдача вредоносного или опасного содержания;
• утечка обучающих или системных данных, раскрытие скрытой системной инструкции;
• устойчивое воспроизведение предвзятости и дискриминации;
• генерация правдоподобной дезинформации.

Методы

Красное тестирование сочетает ручные и автоматические подходы:

• ручное тестирование — эксперты вручную конструируют состязательные запросы, опираясь

на понимание слабых мест модели; даёт качественные, но плохо масштабируемые результаты;

• автоматизированное тестирование — генерация состязательных запросов алгоритмически, в

том числе с помощью других языковых моделей, атакующих проверяемую (red-teaming LLM с помощью LLM); масштабируется, но требует надёжного автоматического критерия успеха;

• бенчмарки и наборы состязательных запросов — стандартизованные коллекции для

сравнимой оценки разных моделей.

Результаты красного тестирования используются в цикле улучшения: найденные сценарии отказа включают в дообучение на безопасность и в фильтры, после чего проверку повторяют — процесс носит итеративный характер.

Место в жизненном цикле модели

Красное тестирование проводят перед выпуском модели и повторяют при существенных изменениях, по аналогии с тестированием на проникновение в цикле безопасной разработки. Оно рассматривается как элемент управления рисками ИИ и входит в отраслевые рамки — например, в NIST AI Risk Management Framework — и в регуляторные требования к оценке моделей высокого риска.

Принципиальное ограничение метода в том, что он способен обнаружить наличие уязвимости, но не доказать её отсутствие: успешное прохождение проверки означает лишь, что не найдено срабатывание в рамках проверенного множества сценариев. Поэтому красное тестирование дополняют формальными и сертифицированными методами там, где они применимы.

См. также

• Безопасность машинного обучения
• Джейлбрейк языковых моделей
• Промпт-инъекция
• Состязательная атака
• Риски искусственного интеллекта

Литература

• Perez E. et al. Red Teaming Language Models with Language Models // EMNLP. — 2022. — arXiv:2202.03286.
• Ganguli D. et al. Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned. — 2022. — arXiv:2209.07858.
• Perez F., Ribeiro I. Ignore Previous Prompt: Attack Techniques For Language Models. — 2022. — arXiv:2211.09527.
• National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0). — 2023.