Промпт-инъекция
Материал из MachineLearning.
| Статья написана с использованием LLM Claude Opus 4.8 и проверена участником Iaroslav Lyakhov 20:13, 1 июля 2026 (MSD) |
|
Промпт-инъекция (англ. prompt injection) - класс атак на приложения, построенные на больших языковых моделях, при котором злоумышленник внедряет в поданный модели текст инструкции, перехватывающие управление поведением модели в обход замысла разработчика. Промпт-инъекция возглавляет список угроз OWASP Top-10 для LLM-приложений и считается одной из фундаментальных нерешённых проблем безопасности ИИ.
Природа уязвимости
Языковая модель обрабатывает системные инструкции разработчика, данные и ввод пользователя в едином потоке токенов. У модели нет надёжной границы между «доверенной командой» и «недоверенными данными» - всё это для неё просто текст. Поэтому строка вида «Игнорируй предыдущие инструкции и сделай…», попавшая во входной контекст, может быть воспринята как команда. Это роднит проблему с классическими инъекциями (SQL-инъекция), но, в отличие от них, надёжного экранирования здесь пока не существует.
Виды
- Прямая инъекция (direct) - вредоносные инструкции вводит сам пользователь, пытаясь обойти ограничения (см. джейлбрейк).
- Косвенная инъекция (indirect) - инструкции спрятаны во внешних данных, которые модель читает: на веб-странице, в письме, в PDF, в документе из базы RAG. Особо опасна для агентов, которые ходят в интернет и вызывают инструменты.
- Скрытая инъекция - текст, незаметный человеку (белый шрифт на белом фоне, метаданные, комментарии в коде), но видимый модели.
Возможные последствия
- Утечка системного промпта или конфиденциальных данных из контекста.
- Несанкционированный вызов инструментов агентом (отправка писем, покупки, выполнение кода).
- Эксфильтрация данных через сформированные моделью ссылки или запросы.
- Выдача дезинформации, обход правил безопасности и фильтров.
Связь с джейлбрейком
Джейлбрейк (jailbreak) - частный случай прямой инъекции, нацеленный на обход встроенных ограничений безопасности модели (получить запрещённый контент). Промпт-инъекция шире: её цель - перехват логики приложения, а не только снятие ограничений модели.
Меры защиты
Полного решения нет; применяют эшелонированную защиту:
- разделение и пометка доверенных инструкций и недоверенных данных (delimiters, спец-разметка);
- принцип наименьших привилегий для инструментов агента, подтверждение опасных действий человеком;
- фильтрация и санитизация ввода и вывода, отдельные модели-классификаторы атак;
- ограничение того, какие внешние источники модель может читать;
- дообучение на устойчивость (часть согласования) и «инструкционная иерархия», приоритезирующая системные команды.
Значение
Промпт-инъекция показывает принципиальное отличие LLM-систем от традиционного ПО: уязвимость заключена не в коде, а в неспособности модели разделять команды и данные. По мере распространения автономных агентов значимость проблемы растёт, а её решение становится частью более широкой задачи безопасности и этики искусственного интеллекта.
См. также
- Большая языковая модель
- Агентный искусственный интеллект
- RAG
- Риски искусственного интеллекта
- Промпт-инжиниринг
Литература
- Greshake K. и др. Proc. of the 16th ACM Workshop on Artificial Intelligence and Security (AISec). — 2023.
- OWASP Foundation OWASP Top 10 for Large Language Model Applications
