Утечка данных (data breach/exfiltration) — это риск непреднамеренной передачи конфиденциальной информации третьим лицам через ИИ-агента. Агент, имеющий доступ к чувствительным данным, может по ошибке или под воздействием атаки раскрыть их.

Как происходит утечка

ИИ-агенты часто имеют доступ к различным источникам данных: электронной почте, файловым системам, базам данных, корпоративным мессенджерам. При обработке запросов агент может включить конфиденциальную информацию в ответ, который будет отправлен внешнему сервису или API.

Особенно опасна ситуация, когда агент использует облачные LLM-сервисы для обработки запросов — данные могут быть отправлены на серверы третьих лиц без ведома пользователя, что может нарушать требования законодательства о защите персональных данных.

Сценарии утечки данных

• Передача данных в API модели — конфиденциальные документы отправляются внешнему провайдеру LLM для обработки.
• Включение в ответы — агент включает чувствительную информацию в ответ пользователю, который не имеет прав на её просмотр.
• Кэширование и обучение — данные, отправленные модели, могут быть использованы для дообучения или сохраниться в кэше провайдера.
• Через prompt-инъекции — злоумышленник может заставить агента извлечь и отправить данные на внешний сервер.

Как защититься

• Используйте локальные или приватные модели для обработки конфиденциальных данных.
• Внедрите DLP-системы (Data Loss Prevention) для мониторинга данных, передаваемых агентом.
• Анонимизируйте или псевдонимизируйте данные перед передачей агенту.
• Ограничьте доступ агента только к тем данным, которые необходимы для выполнения текущей задачи.
• Регулярно проводите аудит взаимодействий агента на предмет утечек.