Безопасность LLM в корпоративных проектах: чек-лист 1IT

OWASP опубликовал Top 10 для LLM Applications: prompt injection, insecure output handling, training data poisoning, model DoS и др. В корпоративном проекте каждая угроза превращается в конкретный риск. 1IT использует чек-лист на 50+ пунктов для аудита LLM-систем.

Главные риски

• Prompt injection — пользователь подменяет инструкции системы.
• Утечка системного промпта — раскрытие IP, бизнес-логики.
• Утечка ПДн через few-shot примеры или RAG-контекст.
• Hallucinations — выдуманные ссылки, несуществующие документы.
• Excessive agency — агент выполняет действия без подтверждения.

Защита на уровне промпта

Системный промпт изолируется от пользовательского ввода через структурированные сообщения. Используем фильтры на вход (LLM Guard, NeMo Guardrails) и выход (DLP-проверка). При обнаружении инъекции — блокировка с логированием.

Защита на уровне архитектуры

1. Изоляция LLM-сервиса в отдельном сегменте сети.
2. Минимальные привилегии токенов API.
3. Rate limiting и квоты по пользователю.
4. Аудит-лог всех запросов с маскированием ПДн.
5. Обязательное human-in-the-loop для критичных действий.

Тестирование

Перед продакшеном — red-team тестирование: набор из 200–500 атакующих промптов, проверка на jailbreak, попытки извлечь системный промпт, инъекции через RAG-документы. 1IT проводит red-team в формате pentest для AI-приложений.