7 октября Anthropic выпустила модель Claude Haiku 5.5. 9 октября провели её сравнение с Claude Sonnet 5.5 и GPT-6 Luna — проверка включала три задачи на японском языке. Для каждой модели задавали настройки «medium» и «max», делали по три генерации — всего получилось 54 ответа. Оценка шла по 10‑балльной шкале с привлечением Claude Fable 5.1 (Anthropic) и GPT-6 Astra (OpenAI), брали среднее значение (с округлением до сотых). Критерии оценки: 9–10 баллов — можно использовать без изменений, 7–8 — нужны ограниченные правки, 5–6 — существенные правки. Также замеряли время выполнения (от запуска CLI («Claude Code» и «Codex») до завершения) и стоимость (на основе количества токенов и курса 1 доллар = 158 рублей).
Первая задача — составление письма с извинениями за задержку поставки (400–600 символов с указанием количества, даты, альтернативного варианта). В режиме «medium» GPT-6 Luna получила в среднем 8,8 балла, Haiku 5.5 — 8,0, Sonnet 5.5 — 8,3. Haiku 5.5 трижды уложилась в заданный объём символов, Sonnet 5.5 один раз превысил лимит. В режиме «max» Sonnet 5.5 получила 9,5 балла, Haiku 5.5 — 7,8. В medium Sonnet 5.5 отвечает за 8,1 секунды, Haiku 5.5 — за 9,7 секунды. Стоимость ответа Haiku 5.5 — 0,13 ¥, Sonnet 5.5 — 1,42 ¥, GPT-6 Luna — 0,09 ¥. В max Haiku 5.5 требует 123,8 секунды и 2,05 ¥, Sonnet 5.5 в max — 271,3 секунды и 61,70 ¥. Среди ошибок Haiku 5.5: в режиме medium добавлен срок ответа, который не был запрошен; в max дата поставки указана как окончательная, хотя в тексте была обозначена как предполагаемая (GPT-6 Astra оценила такую ошибку в 6 баллов).
Вторая задача — преобразование заметок с еженедельного совещания в протокол (разделить на «принятые решения», «ToDo (исполнитель, срок)», «вопросы и опасения»), не добавляя информацию, которой не было в заметках. В medium Haiku 5.5 получила в среднем 7,2 балла, столько же — Sonnet 5.5. Время ответа Haiku 5.5 — 11,6 секунды, Sonnet 5.5 — 16,4 секунды. Стоимость ответа Haiku 5.5 — 0,18 ¥, Sonnet 5.5 — 3,22 ¥. В max разница в оценках Haiku 5.5 и Sonnet 5.5 невелика. GPT-6 Luna в medium получила 5,50 балла из‑за ошибок (например, неправильного прочтения исполнителя из заметок), в max — 7,3 балла. Время ответа Luna в max — 19,3 секунды, стоимость — 0,24 ¥; у Haiku 5.5 в max — 104,2 секунды и 1,90 ¥ при той же оценке в 7,3 балла.
Третья задача — обобщить предложение об изменении условий контракта (сокращение платёжного сайта, увеличение минимального объёма заказа), указать моменты, на которые нужно обратить внимание при отчёте начальнику, и написать ответ с условием «ответить до 15 октября». Haiku 5.5 в medium получила в среднем 6,3 балла. Astra в трёх попытках дважды ошиблась в определении позиции в сделке, оценки — 9, 4, 5 баллов. При увеличении объёма вычислений до max оценка Haiku 5.5 выросла до 8,2 балла, ошибки с позицией исчезли. Время ответа в max — 254,1 секунды, стоимость — 4,68 ¥. Это примерно равно стоимости ответа Sonnet 5.5 в medium (4,69 ¥), но время в 10 раз больше, а оценка ниже. GPT-6 Luna показывает самую высокую скорость и низкую стоимость: medium — 7,9 сек, 0,11 йен; max — 12,7 сек, 0,18 йен. При этом в medium 3 раза добавлялась информация, которой не было в исходном тексте, оценка в обоих режимах — в районе 6 баллов. Sonnet 5.5 в режиме medium получил оценку 9,0 баллов, демонстрирует стабильность; для сложных задач подходят модели уровня Sonnet и выше.
При использовании Haiku 5.5 в режиме max среднее время выполнения трёх задач в 12,6 раз больше, чем в medium (160,7 сек), а стоимость — в 15,4 раз выше (2,88 йены). Sonnet 5.5 в режиме medium: 16,6 сек, 3,11 йены, 8,2 балла. Для задач, где достаточно режима medium, выгоднее использовать Haiku 5.5, для сложных — Sonnet 5.5.
По Intelligence Index от Artificial Analysis Haiku 5.5 (max) получил 43 балла (на 26 баллов выше Claude Haiku 4.5 и выше GPT-6 Luna с 38 баллами). Haiku 5.5 (max) выдаёт около 162 тыс. токенов на задачу — в 3 раза больше, чем GPT-6 Luna (max, около 50 тыс. токенов).
Цены API от Anthropic: при объёме промпта до 100 тыс. токенов — ввод 0,10 $ за 1 млн токенов, вывод 0,50 $ за 1 млн токенов; свыше 100 тыс. токенов — ввод 0,50 $, вывод 2,50 $. Для Sonnet 5.5 — ввод 2 $, вывод 10 $. Anthropic позиционирует Haiku 5.5 как модель для узких задач (резюмирование, сжатие контекста, суб-агенты), для сложных кодирующих агентов рекомендует Sonnet 5.5 и Claude Opus 5.5. Haiku 5.5 в режиме medium стоит примерно в 17 раз дешевле Sonnet 5.5 в режиме medium и даёт почти такую же оценку для типовых документов. Для большого количества лёгких задач с предварительной проверкой лучше подходит GPT-6 Luna. При использовании лёгких моделей для задач, требующих точных ответов на основе сложных документов, увеличивается время на проверку. В некоторых случаях эффективнее использовать Sonnet 5.5 (medium), чем ждать ответа от Haiku 5.5 (max). Рекомендуется на основе проведённой проверки определить оптимальные сценарии использования Haiku 5.5 для своих задач.
Подписаться в Макс
