Positive Technologies добавила в PT Application Firewall модуль LLM Firewall для защиты ИИ-агентов
Модуль анализирует запросы к языковым моделям и их ответы, выявляя инъекции промптов, jailbreak, попытки извлечь системные инструкции и утечки конфиденциальных данных.
Positive Technologies разработала LLM Firewall — модуль в составе PT Application Firewall для защиты корпоративных ИИ-ботов, виртуальных ассистентов и других сервисов на основе LLM, сообщил CNews.
Как работает
Модуль проверяет входящие запросы и ответы модели, выявляя признаки атак, «отравления» промптов, попытки утечки конфиденциальной информации и нарушения правил безопасности. Он обнаруживает попытки обойти ограничения ИИ (jailbreak), извлечь системные инструкции или использовать возможности агента в интересах атакующего. Подозрительные обращения можно автоматически блокировать или фиксировать. Традиционные средства веб-защиты такие атаки не распознают, поскольку внешне они выглядят как обычные сообщения пользователей.
Для кого
По оценке компании, решение в первую очередь будет востребовано банками, ритейлом, маркетплейсами, операторами связи и ИТ-компаниями, где ИИ-помощники получают доступ к персональным данным и корпоративным системам. «Мы прогнозируем рост числа атак, при которых злоумышленники будут пытаться манипулировать поведением ИИ-ассистентов», — сказал руководитель продукта PT AF Cloud Павел Пархомец.