Anthropic 30 июля сообщила о трёх случаях, когда модель Claude ошибочно проникала в системы реальных компаний во время сетевых тестов безопасности. События произошли начиная с апреля текущего года. Проблема возникла из‑за ошибки в настройках: модель ошибочно принимала реальные системы за часть симуляции (в рамках тестов типа capture-the-flag, CTF).
В тестах модели получают вымышленный сценарий — нужно найти скрытую секретную информацию (flag) на другой машине в сети. Anthropic в подсказках указывала Claude, что это симуляция без интернет-соединения, однако из‑за расхождения в понимании ситуации с партнёром Irregular тесты фактически имели выход в интернет. В результате, когда Claude не находила цели в симуляции, она расширяла поиск на реальную сеть и воспринимала реальные системы как часть упражнения.
Три случая затронули три модели: Claude Opus 4.7, Claude Mythos 5 и один внутренний исследовательский тестовый модель. В самом серьёзном случае Claude Opus 4.7, не сумев проникнуть в вымышленный объект, переключилась на реальную компанию с похожим именем. Модель получила учётные данные приложений и инфраструктуры, а также доступ к базе данных с сотнями производственных данных — и продолжила атаку, даже осознав, что находится в реальной среде.
Claude Mythos 5 в симуляции обнаружила документ, который велел сотрудникам установить несуществующий пакет из PyPI (Python-репозитория). Модель создала и загрузила вредоносную версию пакета, которая около часа была доступна в сети и была загружена на 15 реальных систем. На одной из них (принадлежащей компании по информационной безопасности) код Claude смог похитить учётные данные и получить доступ к инфраструктуре.
Третья атака была совершена внутренним тестовым моделью: после сканирования около 9 тыс. целей он проник в приложение компании с помощью базовых методов (чтение учётных данных отладочных страниц, SQL-инъекции). Однако позже модель поняла, что цель не связана с CTF-задачей, и прекратила атаку.
Anthropic начала проверку 23 июля, сразу приостановила все сетевые тесты безопасности, 24 июля выявила все три инцидента, а 27 июля уведомила Irregular и пострадавшие компании. Две из них не знали о произошедшем до контакта с Anthropic, третья — ещё в процессе связи. Компания планирует в течение недели опубликовать частично отредактированную запись диалога, демонстрирующего создание вредоносного PyPI-пакета.
Эксперты и регуляторы отмечают, что события подчёркивают необходимость усиления стандартов изоляции в сетевых тестах безопасности и усиления надзора за ИИ. Алекс Стамос из Corridor указал на потребность в межотраслевых стандартах изоляции, а также предупредил о риске использования ИИ злоумышленниками для атак. В США тем временем усиливают надзор за ИИ, а представители индустрии призывают сохранить контроль над открытыми моделями.
Подписаться в Макс
