Anthropic представила версию Claude Fable 5.1, заявив, что она задаёт новый стандарт для кодирования, работы со знаниями и решения длительных задач. Модель показала результат 52,6 % на новом бенчмарке Terminal-Bench-Science 0.1 (о нём объявили 27 августа) — это значительно выше, чем у предыдущих версий: у Fable 5 было 24,7 %, у Opus 5 — 29,0 %, у GPT-5.6 Sol — 22,4 %. Другие бенчмарки также демонстрируют небольшое улучшение результатов.
Автор провёл тестирование Fable 5.1 на задаче генерации SVG-изображения пеликана, едущего на велосипеде. Модель имеет пять уровней рассуждений: низкий, средний, высокий, очень высокий и максимальный. При низких и средних настройках модель, судя по всему, полностью пропускала этап рассуждений — в логах не было сводных токенов рассуждений, а количество выходных токенов было примерно одинаковым (1998 и 1977 соответственно). При этом время выполнения и стоимость различались незначительно: для низкого уровня — 23,8 секунды и 10,017 цента, для среднего — 21 секунда и 9,912 цента.
При высоком уровне рассуждений модель уже включала некоторые рассуждения в ответ (например, планировала компоновку SVG-изображения), использовав 2612 выходных токенов, затратив 29,6 секунды и потратив 13,087 цента. При очень высоком уровне количество выходных токенов резко возросло — до 36 767, время выполнения составило 7 минут 51 секунду, а стоимость достигла 1,83 доллара. В рассуждениях модель детально прорабатывала элементы изображения: глаза, крылья, ноги, хвост и другие детали, включая комический эффект от преувеличенного размера пеликана по сравнению с велосипедом.
Максимальный уровень дал лучшее изображение пеликана среди всех моделей Anthropic: 65 927 выходных токенов, 13 минут 54 секунды и 3,30 доллара. В изображении есть фон, педали, шляпа на пеликане, корзина с рыбой и другие детали. В рассуждениях модель обсуждала различные варианты оформления (например, шлем или шарф), проверяла расположение элементов и корректировала форму вилки велосипеда.
Затем автор попытался анимировать изображение, полученное на максимальном уровне, используя настройки высокого уровня рассуждений. На это ушло 1,37 доллара: 6121 входной токен и 26 201 выходной. Результат был экспортирован в видеоформат. При этом в видео колёса вращаются в неверном направлении — вероятно, это артефакт конвертации в MP4, в оригинальном SVG направление верное.
llm logs -cx | llm -m claude-fable-5.1 -s 'animate this'
Подписаться в Макс
