Избыточная автономность — это ситуация, при которой ИИ-агент получает возможность выполнять действия без надлежащего контроля или подтверждения со стороны пользователя. Это один из наиболее критичных рисков, связанных с использованием ИИ-агентов.

Как возникает риск

Риск избыточной автономности возникает, когда разработчики или пользователи предоставляют агенту слишком много полномочий для самостоятельного принятия решений. Вместо того чтобы действовать как ассистент, требующий одобрения на критически важные шаги, агент начинает выполнять действия автономно, что может привести к нежелательным последствиям.

Примеры негативных сценариев

• Автоматическое удаление файлов — агент неверно интерпретирует запрос на очистку временных файлов и удаляет важные документы.
• Несанкционированные закупки — агент самостоятельно оформляет заказ на крупную сумму, считая это частью своей задачи.
• Рассылка писем без подтверждения — агент отправляет черновики и незавершённые сообщения реальным получателям.
• Изменение конфигураций системы — агент вносит изменения в настройки безопасности или сетевые параметры без уведомления администратора.

Как защититься

• Настройте обязательное подтверждение для всех деструктивных операций (удаление, изменение, отправка).
• Используйте агентов только в режиме «советника» для задач, связанных с высокими рисками.
• Регулярно проверяйте логи действий агента на предмет подозрительной активности.
• Ограничьте список действий, которые агент может выполнять без запроса разрешения.