Эксперты «Сбербанка» рассказали о правилах безопасности при использовании саморазвивающихся ИИ-агентов
Список рекомендаций включает несколько важных пунктов, которые позволят не допустить вредного воздействия.
Объемы использования искусственного интеллекта в корпоративном секторе постоянно растут. С одной стороны, он позволяет ускорить и удешевить многие процессы. Однако развитие умных технологий бросает новые вызовы специалистам, которые занимаются обеспечением информационно безопасности.
Чем опасны саморазвивающиеся агенты?
На конференции OFFZONE 2026 специалисты «Сбербанка» представили собственное исследование, которое связано с использованием ИИ и обеспечением кибербезопасности. Они отметили, что сейчас набирает популярность тренд на использование саморазвивающихся ИИ-агентов. Поэтому защита важна не только при использовании базовых языковых моделей, но и агентных систем. Те государственные и частные организации, которые не будут уделять должное внимание этому вопросу, в ближайшем будущем рискуют столкнуться с проблемами в сфере кибербезопасности. Об этом говорили эксперты, базируясь на обновлённой версии модели угроз кибербезопасности AI «Сбербанка», которая систематизирует 37 угроз и 51 способ их реализации, включая риски, связанные с GenAI, AI-агентами и мультиагентными системами.
Специалисты напомнили, что современные саморазвивающиеся ИИ-агенты способны самостоятельно обновлять память, навыки и код, используя собственные инструменты для выполнения поставленной цели. Люди должны постоянно контролировать все процессы, отделяя потенциально полезные изменения от вредоносных. Для достижения этих результатов в «Сбербанке» рекомендуют руководствоваться несколькими правилами.
Необходима строгая изоляция
Во-первых, требуется строгая изоляция агентов. Это подразумевает реализацию локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя.
Во-вторых, необходимо разделение контуров разработки и эксплуатации. Самоэволюцию необходимо полностью отключать от непосредственной рабочей среды, так как в ней возможен доступ к чувствительным данным. В контуре разработки процесс самоэволюции возможен. Однако агенту должно быть разрешено только чтение информации и исключена возможность самостоятельного выхода в сеть. Вывод решения в эксплуатацию должен происходить со стандартными проверками кибербезопасности.
Независимые системы безопасности
Также необходимы независимые системы безопасности. Механизмы защиты должны быть вынесены за контур исполняемого кода агента. Централизованная система обеспечивает сбор и обработку телеметрии и метрик, а ограничители блокируют аномалии в реальном времени. Дополнительно рекомендуется создать и корпоративный реестр навыков с обязательной проверкой инструментов и запускать сгенерированный код в песочнице с ограничениями по времени, сети, процессору, памяти и файловой системе.
Поиск новых инструментов
В основе данных рекомендаций лежит большой опыт самого «Сбербанка» в области использования агентных ИИ-систем. Они активно применяются для разработки ПО, а мультиагентная система «Кибераналитик» самостоятельно закрывает до 70% киберинцидентов в банке.
Еще в апреле 2025 года «Сбербанк» разработал первую в России комплексную модель угроз для систем ИИ. Тогда документ охватывал 70 различных рисков на различных стадиях жизненного цикла – от подготовки данных и обучения до эксплуатации модели.
В конце того же 2025 года Федеральная служба по техническому и экспортному контролю впервые внесла в банк данных угроз информационной безопасности риски, связанные с искусственным интеллектом. Среди объектов и сценариев упоминались модели машинного обучения, датасеты, RAG, адаптеры моделей, модификация системных промптов и конфигураций агентов. Таким образом, безопасность ИИ начала переходить из корпоративных исследований в поле государственного регулирования информационной безопасности.
Не исключено, что уже очень скоро в России может появиться отдельный сегмент рынка, связанный с обеспечением безопасности агентных ИИ-систем. Для этого возможно создать целый набор специализированных инструментов. При этом основной контроль все равно должен оставаться за людьми.
