17:00 по местному времени в США возобновила работу модель искусственного интеллекта Claude Fable 5 (Fable 5) от компании Anthropic. Возникал вопрос: изменились ли её показатели после приостановки? Две американские компании в сфере ИИ поделились результатами оценок.
BridgeMind AI, которая разрабатывает сервисы ИИ-агентов, сообщила, что Fable 5 ослабла и возвращается к прежним показателям. Компания BridgeBench, занимающаяся тестированием ПО, зафиксировала снижение оценок производительности: при отладке — с 86,2 до 25,9, при рефакторинге — с 73,6 до 38,4, при тестировании на неполадки — с 75,9 до 61,7. При этом производительность самой модели не упала — по мнению компании, снижение оценок связано с улучшением функции безопасности.
В то же время Arena (ранее LMArena) в США, где пользователи оценивают эффективность моделей ИИ, сообщила, что производительность Fable 5 практически не изменилась до и после отключения. На основе тысяч оценок на Arena выяснилось, что модель сохраняет примерно одинаковые показатели по разным параметрам — например, по обработке текста и изображений. При этом Arena.ai отмечает, что текущий показатель — предварительное значение: планируется собрать больше данных и опубликовать детальный анализ.
Модель Claude Fable 5 вышла от Anthropic 9 сентября. После сообщений об уязвимости компания приостановила предоставление услуг 12 сентября по распоряжению правительства США и возобновила 1 сентября. В модели есть функция безопасности — «классификатор»: он обнаруживает инструкции, которые могут привести к вредоносному выводу, и реагирует на них. После возобновления работы классификатор обновили, чтобы устранить уязвимости. По словам Anthropic, это привело к росту числа ложных срабатываний при выполнении безобидных запросов — например, в повседневных задачах по кодированию и отладке.
Подписаться в Макс
