14 июля 2026 года вышла статья, раскрывающая подробности приобретения Meta* команды Virtue AI — специалистов по безопасности ИИ, в составе которой были выходцы из Китая. Интерес к покупке команды проявляли и другие компании, но в итоге Ли Бо и её команда остановились на предложении Meta*.
Сотрудничество между Meta* и Virtue AI началось со стратегического партнёрства: ранее Meta* уже была клиентом Virtue AI. Компании предстояло доказать практическую ценность продукта. Virtue AI убедила Meta* не в отдельном продукте, а в целой системе подходов к безопасности ИИ. Со временем Meta* увидела в команде не просто поставщика инструментов, а экспертов в области безопасности ИИ с опытом работы с реальными клиентами.
Ключевую роль в решении Meta* сыграли персонализированные агенты (personalized agents). В отличие от традиционных ИИ‑систем, где пользователь задаёт вопрос, а модель отвечает, такие агенты могут интегрироваться в рабочие процессы пользователя и предприятия. Они получают доступ к почте, календарю, репозиториям кода, базам данных и внутренним системам, вызывают инструменты, выполняют команды, изменяют файлы, отправляют запросы и реализуют последовательности действий. Это меняет характер рисков: вместо «неправильного ответа» появляется риск «неправильного действия».
Ли Бо — известный учёный в международной ИИ‑академической среде — несколько лет исследовала, как обеспечить безопасность, надёжность и управляемость ИИ при выходе из лабораторных условий в реальный мир. До создания Virtue AI она получила ряд престижных наград, включая Alfred P. Sloan Research Fellowship, MIT Technology Review TR35, IEEE AI's 10 to Watch, IJCAI Computers and Thought Award, NSF CAREER Award, а также награды за лучшие статьи на международных конференциях.
В академических работах безопасность ИИ рассматривается в разных направлениях: robustness, privacy, security, alignment, generalization. Для каждого направления есть свои определения, эксперименты, наборы данных и методы оценки. Однако в предпринимательской деятельности Ли Бо столкнулась с иными запросами: бизнес‑клиенты задают более прямые вопросы, исходя из реальных ситуаций. Например, ответственные за безопасность в банках думают о регулировании и защите клиентских данных, а команды по соответствию в страховых компаниях — о том, как гарантировать, что система не приведёт к утечке конфиденциальной информации.
Virtue AI пытается преобразовать исследовательские проблемы безопасности в продукты, которые компании могут развернуть. Компания сформировала инженерный подход: безопасность ИИ — это не отдельная функция, а инфраструктура, охватывающая весь процесс — от разработки и тестирования до развёртывания и эксплуатации. За последние два года Virtue AI обслуживала компании из списка Fortune 500 и сотрудничала с ведущими международными лабораториями ИИ, проводя оценку безопасности моделей и агентов.
Финансовый сектор первым стал рассматривать безопасность ИИ как насущную необходимость: банки, страховые компании и организации по управлению активами находятся под строгим регулированием и работают с большим объёмом конфиденциальных данных. Для них запуск системы ИИ — это не только техническая, но и юридическая, аудиторская и ответственная задача.
Крупные технологические компании и разработчики базовых моделей раньше столкнулись с передовыми рисками: Prompt Injection, злоупотребление моделями, атаки на агентов, риски вызова инструментов. За последний год корпоративное ПО, офисные автоматизированные системы Copilot, системы обслуживания клиентов и платформы генерации кода стали быстрее внедрять ИИ. Компании обнаружили, что при подключении ИИ к внутренним системам границы безопасности размываются.
Разные роли в компании (ответственные за безопасность, менеджеры продуктов, инженерные и юридические команды) имеют разные приоритеты. Команды продуктов заботятся о скорости запуска, команды безопасности — о границах риска, юридические и комплаенс‑команды — об ответственности и аудите, бизнес‑команды — о повышении эффективности с помощью ИИ. Virtue AI стремится объединить интересы разных ролей в одной системе.
До запуска компании нужна автоматизированная «красная команда», чтобы выявить потенциальные проблемы ИИ до его внедрения в бизнес‑процессы (Prompt Injection, обход ограничений, утечка данных, несанкционированный доступ, злоупотребление агентами). После запуска необходима защита в режиме реального времени — поскольку никакие тесты не могут охватить все реальные сценарии, после внедрения в производственную среду требуется мониторинг злонамеренных Prompt, опасных вызовов инструментов, аномального поведения агентов и утечки конфиденциальных данных.
Один из продуктов Virtue AI — VirtueGuard: это не просто текстовый ограничитель, а система реальной защиты для корпоративных сред. Риски в компаниях могут возникать из разных источников: текста, изображений, видео, аудио, кода, а также в рамках сложных мультиязычных и мультисистемных задач. На этапе агентов проблемы усложняются: в отличие от традиционных чат‑ботов, агенты вызывают инструменты, получают доступ к системам и выполняют действия.
Система безопасности должна анализировать не только ввод и вывод, но и этапы Tool, MCP, Memory, Action, Network на соответствие корпоративной политике безопасности. VirtueAgent Suite выступает в роли agentGuard и gateway для agentic systems: выявляет риски до выполнения действий агентом и ограничивает его возможности во время работы (доступ, вызовы, выполнение действий).
Ключевые метрики оценки эффективности Virtue AI включают:
* количество обнаруженных уязвимостей;
* охват категорий рисков;
* процент перехваченных атак;
* уровень ложных срабатываний;
* задержка системы;
* сокращение времени вывода продукта на рынок;
* формирование аудируемых процессов управления.
Ли Бо считает, что главный вызов в сфере безопасности ИИ в эпоху агентов — несоответствие темпов роста возможностей моделей и развития инфраструктуры безопасности, управленческих процессов и отраслевых стандартов. Мощные модели без надёжных систем безопасности усилят существующие риски.
В эпоху Agent вопросы безопасности ИИ больше похожи на вопросы корпоративной безопасности: требуется перепроектирование механизмов приёма на работу, авторизации, надзора и увольнения для AI Agent («цифровых сотрудников»). Проблемы управления идентификацией, контроля разрешений, корпоративной безопасности и аудита теперь входят в сферу безопасности Agent.
Prompt Injection в контексте Agent становится более опасным: если Agent может вызывать инструменты, читать файлы, получать доступ к электронной почте или выполнять команды, внедрённые инструкции могут повлиять на реальные действия. Существует риск многоэтапных комбинаций: отдельные действия Agent (чтение файла, вызов инструмента, генерация кода, изменение конфигурации) могут в совокупности привести к несанкционированному доступу, утечке данных или разрушительным операциям.
Безопасность должна учитывать не только одиночные входы и выходы, но и всю цепочку выполнения. Модельное чрезмерное соответствие запросам пользователя показывает, что безопасность ИИ включает предотвращение усиления ошибочных суждений, негативных эмоций или импульсивных действий. Проблемы достоверного ИИ касаются не только галлюцинаций, но и источников информации, понимания контекста, качества поиска и дизайна системы. Ошибки Coding Agent (например, случайное удаление производственной базы данных) демонстрируют переход от ошибок в ответах к ошибкам в действиях.
Возрастает риск того, что код, сгенерированный ИИ, будет содержать уязвимости, а разработчики из‑за чрезмерного доверия к модели будут реже его проверять.
Безопасность в эпоху Agent должна внедряться на ранних этапах — в проектирование продукта, систему разрешений, вызов инструментов, мониторинг во время выполнения и процессы управления. Alignment касается соответствия целей, ценностей и поведения ИИ‑системы намерениям человека, а безопасность ИИ — способности системы противостоять атакам, злоупотреблениям и аномальному поведению в реальных условиях. Достоверность системы определяется не только оценками модели в открытых тестах и безопасностью ответов, но и доступом к данным, вызовом инструментов, выполнением действий, соответствием разрешениям, наличием аудиторских записей и возможностью непрерывного мониторинга в процессе работы.
Растёт значимость таких тестов безопасности, как публичные системные тесты, agentic safety test, computer use test, coding capability test, cyber evaluations. Тестирование моделей должно проводиться в сложных сценариях с целями, контекстом и возможностью использования инструментов. Внутренний «красный» отряд подходит для интеграции в процесс разработки, внешний — для выявления слепых зон на ключевых этапах выпуска. Безопасность должна быть частью итераций модели, а не только финальной проверкой перед выпуском. Сложность управления безопасностью ИИ связана с большим числом участников (исследовательские и продуктовые команды, юристы, регуляторы и др.), у которых разное понимание приемлемого риска. Нужно превращать принципы в исполняемые, измеримые и проверяемые процессы.
Путь Ли Бо от исследователя через предпринимателя до Meta* Superintelligence Labs отражает сдвиг в области безопасности ИИ. В будущем (в течение 3 лет) безопасность ИИ перейдёт от «безопасности модели» к «безопасности системы» и «безопасности Agent». Компании будут непрерывно проводить «красные» тестирования, мониторинг и управление безопасностью на всех этапах — от разработки до эксплуатации.
* Meta Platforms Inc. признана экстремистской организацией, её деятельность запрещена на территории РФ.
Подписаться в Макс
