Глава Anthropic Дарио Амодей в своём блоге разъяснил позицию компании относительно открытых моделей ИИ. Он подчеркнул, что Anthropic никогда не выступала за запрет открытых моделей, но обозначила три ключевых направления для государственного регулирования в сфере ИИ.
Дискуссия о регулировании ИИ обострилась после того, как китайская компания Moonshot AI выпустила модель Kimi K3 — её возможности сопоставимы с продуктами Anthropic и OpenAI. Это заставило власти США задуматься об ограничении использования китайских открытых моделей американскими компаниями. Ряд крупных компаний (NVIDIA, Microsoft, Meta* и другие) подписали открытое письмо с призывом не вводить преждевременные ограничения для открытых моделей. Anthropic в их числе не оказалась, из‑за чего некоторые эксперты заподозрили компанию в желании защитить собственный закрытый бизнес-модель.
Амодей выделил два основных риска: во-первых, авторитарные правительства могут создать более мощные ИИ-системы, чтобы получить военное преимущество или усилить контроль над населением; во-вторых, мощные модели могут быть использованы для кибератак или биоатак, а также могут возникнуть проблемы с согласованием (alignment).
Для снижения рисков Амодей предложил три меры:
- Контроль за поставками чипов: не продавать высокотехнологичные чипы и оборудование для их производства Китаю, пресекать контрабанду и обходные схемы.
- Борьба с «перегонкой» (distillation) — технологией, которая позволяет обучать меньшие модели на основе выходов больших моделей. Это снижает затраты на вычисления и позволяет Китаю обходить ограничения на поставки чипов, сокращая технологический разрыв с США.
- Обязательные тесты безопасности: все достаточно мощные модели (вне зависимости от того, открытые они или закрытые) должны проходить тестирование на риски в сфере кибербезопасности, биологии и согласования перед выпуском. Более слабые модели (например, учебные или созданные стартапами) могут быть освобождены от этого требования.
При этом Амодей признал, что открытые модели могут быть «общественным благом» — расширять участие в ИИ-экономике, усиливать конкуренцию и давать клиентам больше контроля. Однако он не согласен с тем, что открытые модели автоматически делают защиту эффективнее. В качестве аналогии он привёл биологию: достаточно мощная модель может быстро создать вирус с потенциалом масштабной эпидемии, а вот разработка защиты может занять годы.
Параллельно с этим NVIDIA, Microsoft, SpaceX и другие компании создали «Альянс по безопасному открытому ИИ» (Open Secure AI Alliance), выступая за необходимость открытых инструментов для защиты от атак на передовые модели. При этом OpenAI, Google и Anthropic в альянс не вошли — это подчёркивает раскол в индустрии.
* Meta Platforms Inc. признана экстремистской организацией, её деятельность запрещена на территории РФ.
Подписаться в Макс
