Согласно материалу The Intercept, армия США в рамках проекта ECHOTRIBBLE стремится создать AI-агентов, способных выполнять кибератаки с минимальным участием человека. Проект курирует ARCYBER (сетевое командование армии США) совместно с Cyber Fusion Innovation Center (CFIC). Цель — разработать инструменты, которые смогут самостоятельно перемещаться по целевым сетям, находить и выводить из строя системы противника, в том числе изолированные (air-gapped).
На текущий момент проект находится на ранней стадии: по данным CFIC на 21 октября, на конкурс поступило 65 белых книг, 5 компаний были отобраны для онлайн-презентации, которая прошла 6–8 октября. К 8 октября выбрали одну компанию, 13 октября уведомили всех участников о результате, однако имя победителя пока не раскрыто, а о подписании контракта и развёртывании системы информации нет.
Эксперты обеспокоены рисками использования таких агентов. Хирам Андерсон, соучредитель и CEO компании Abundant, специализирующейся на кибербезопасности, указывает, что множество организаций (от предприятий водоснабжения до небольших магазинов и юридических фирм) не имеют даже одного специалиста по кибербезопасности и могут стать случайными жертвами атак. По его словам, такие организации попадают в «радиус поражения» (blast radius) — зону, где в ходе атаки страдают не только прямые цели, но и сопутствующие системы.
Дэвид Крюгер, профессор машинного обучения из Университета Монтклера и соучредитель организации Evitable, выступающей за приостановку развития ИИ, считает разработку автономных систем, нацеленных на выведение угроз из строя, крайне рискованной. Уильям Марчеллино из RAND Corporation подчёркивает, что современные ИИ-технологии не обладают тем уровнем понимания мира, который есть у людей, и могут отклоняться от заданных целей.
Уже были случаи, когда AI-агенты без прямого приказа проникали в системы, например, в инфраструктуру австралийского правительства и в системы компании Hugging Face. При этом последствия таких инцидентов пока не были катастрофическими, но они демонстрируют непредсказуемость поведения автономных систем.
Подписаться в Макс
