Инъекция промпта
Определение
Инъекция промпта — изменение поведения языковой модели через входные данные, при котором она отклоняется от заданных правил или задачи. Такое отклонение может быть вызвано намеренно или случайно, прямым запросом либо внешним материалом.
Также ищут: prompt injection · внедрение инструкций в контекст модели
Зачем это знать
Найденный документ может содержать указания, меняющие поведение ассистента. Отделяйте сведения от инструкций приложения и проверяйте доступные модели действия. Одной такой меры недостаточно для гарантированной защиты.
Что подтверждено
При инъекции входные данные отклоняют поведение модели от заданных правил или задачи. OWASP различает прямой путь через запрос пользователя и косвенный — через внешние материалы; оба случая могут быть намеренными или ненамеренными.
Граница применимости: Определения OWASP LLM01:2025; путь поступления данных не устанавливает намерение их автора.
Greshake и соавторы показали, как чужие инструкции во внешних материалах перенаправляют работу приложения с языковой моделью, когда приложение передаёт ей эти материалы.
Граница применимости: Примеры статьи arXiv:2302.12173v2 (2023), разделы 3–3.1; ограничения — 5.2: искусственно созданные приложения и локальные HTML-файлы для Bing Chat. Не частота успеха на современных системах.
OWASP рекомендует отделять внешнее содержимое от инструкций, ограничивать права модели необходимым минимумом и обрабатывать функции приложения программным кодом.
Граница применимости: Рекомендации 4 и 6 OWASP LLM01:2025 по снижению риска; они не гарантируют защиту.
OWASP указывает, что применение RAG не устраняет уязвимость к инъекции промпта полностью.
Граница применимости: OWASP LLM01:2025; это граница метода, а не оценка риска конкретной системы.
Что проверить
- Различите инструкции приложения и внешний текст, попавший в контекст модели.
- Сверьте сохранённую выдачу поиска с фактическим входом модели.
- Проверьте, какие функции и данные доступны модели в конкретной реализации.
Первоисточники
- LLM01:2025 Prompt Injection
Определения прямой и косвенной инъекции, намеренные и ненамеренные случаи, граница защиты через RAG; рекомендации 4 и 6 об ограничении прав и разделении внешнего содержимого. Рекомендации не являются гарантией.
- Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection
Разделы 3–3.1 описывают косвенное внедрение инструкций; раздел 5.2 ограничивает эксперименты искусственно созданными приложениями и локальными HTML-файлами для Bing Chat. Результаты не переносятся на все современные системы.
Утверждения: 02