В 2026 году стоимость токенов становится ключевым ориентиром в борьбе за аппаратные решения для больших моделей. OpenAI представила новый чип Jalapeño — он ориентирован на вывод LLM и учитывает такие параметры, как пропускная способность токенов, задержка генерации и количество рассуждений на единицу энергии.
Jalapeño сравнивают с NVIDIA Rubin. Мнения на этот счёт расходятся: часть экспертов полагает, что Jalapeño вошёл в зону эффективности Rubin, другие же считают, что условия тестирования и оптимизация не позволяют делать прямые выводы. В обсуждениях на Reddit фигурируют и другие решения — например, Groq 3 LPX.
По данным OpenAI, при работе с моделями GPT-OSS 120B, DeepSeek R1 670B и Kimi K2.5 1T чип Jalapeño показывает следующие результаты:
* пик пропускной способности на ватт увеличен в 1,5–1,9 раза;
* сквозная задержка снижена в 1,7–3,6 раза;
* в зонах с высокими требованиями к скорости взаимодействия производительность повышена в 2,1–4,1 раза.
Номинальная мощность чипа — 700 Вт, непрерывная мощность в этих нагрузках не превышает 550 Вт.
Процесс вывода модели включает два этапа: Prefill (массовый параллельный расчёт, высокая плотность вычислений) и Decode (генерация токенов последовательно, снижение параллелизма, необходимость чтения весов модели и доступа к KV Cache). OpenAI в описании архитектуры Jalapeño учитывает это различие. Компания акцентирует внимание на размещении состояния модели и KV Cache в оптимальных местах для сохранения локальности данных, а также на согласовании вычислений, памяти и сети внутри чипа на разных этапах вывода. Цель — создать сбалансированную архитектуру, чтобы один ускоритель мог обрабатывать и Prefill, и Decode без предварительного разделения ресурсов.
Производительность чипа определяется двумя пределами: достижимой производительностью ≈ min (пиковая вычислительная способность, пропускная способность памяти × арифметическая интенсивность). Арифметическая интенсивность — это количество вычислений, выполняемых с одной порцией данных. При обучении и Prefill матричные операции достаточно велики, арифметическая интенсивность высока: одно чтение весов может обслуживать множество токенов. В случае низкого Batch Decode ситуация обратная.
NVIDIA применяет иной подход: она разделяет процесс вывода. На Hot Chips 2026 компания показала место Groq 3 LPU в системе Vera Rubin. GPU хорошо подходит для Prefill благодаря работе с большими матрицами, высокому параллелизму и достаточно высокому коэффициенту повторного использования весов. Для Decode с низкой задержкой NVIDIA передаёт значительную часть работы Groq 3 LPU. Одна стойка LPX содержит 256 LPU, общий объём SRAM — 128 GB, при этом совокупная пропускная способность SRAM может достигать 40 PB/s. SRAM обеспечивает высокую пропускную способность и низкую задержку доступа к данным, так как данные находятся внутри чипа. При этом из‑за ограниченной ёмкости встроенной SRAM и меньшей универсальности по сравнению с GPU NVIDIA не использует Groq 3 для автономной работы с полной моделью, а создаёт сложную гетерогенную систему. В архитектуре с GPU и LPU prefill выполняется на GPU, большая часть decode — на LPU, внимание в decode может возвращаться на GPU. GPU и LPU поддерживают собственные KV Cache, обмениваются draft Tokens, используют micro-batch для совмещения вычислений и коммуникации. NVIDIA добавляет FPGA в качестве асинхронного моста между LPU (синхронный домен) и GPU с внешним KV Cache (асинхронная система).
Google также адаптирует своё оборудование под новые задачи: в TPU 8 созданы две модификации — TPU 8t (для обучения) и TPU 8i (для вывода). TPU 8t использует 6 групп HBM, TPU 8i — 8 групп. TPU 8i выделяет больше ресурсов под SRAM, объём памяти и пропускную способность, так как для вывода требуется больше HBM и более высокий процент SRAM. Google учитывает и различия в сетевой топологии: TPU 8i поддерживает BoardFly (ограничение пути — 7 hops), тогда как ранее используемый 3D Torus (до 16 hops) лучше подходит для обучения. TPU 8i включает Collective Acceleration Engine: часть коллективных операций выполняется на I/O Die рядом с сетевым интерфейсом, что сокращает перемещение данных внутри чипа. TPU 8t ориентирован на обучение: Superpod может масштабироваться до 9600 чипов, имеет около 2 PB общего HBM и 121 EFLOPS FP4 агрегатной вычислительной мощности; для него внедрена сеть Virgo.
При работе с моделями с длинным контекстом планировщик должен учитывать не только доступность чипа, но и расположение данных для запроса. При переносе Prefill на одну группу машин, а Decode — на другую, KV Cache может перемещаться через сеть, что потребляет пропускную способность и время. Оптимизация чипов для вывода теперь охватывает весь путь данных: источник весов, расположение KV Cache, количество обращений к HBM при генерации одного Token, необходимость передачи данных между чипами, время ожидания вычислительных блоков.
Размер Batch влияет на скорость отклика для одного пользователя и на коэффициент повторного использования весов: чем меньше Batch, тем быстрее отклик, но ниже коэффициент повторного использования весов; чем больше Batch, тем выше пропускная способность машины, но может увеличиться задержка Token для одного пользователя. OpenAI, NVIDIA и Google при демонстрации производительности используют Pareto‑кривые, отображающие соотношение Tokens/s/user и Tokens/s/watt.
Проблема dark silicon — ограниченные площадь и энергопотребление чипа — приводит к простою части схем при выполнении разных рабочих нагрузок. Более эффективно создавать отдельные чипы для обучения и вывода. Ключевые метрики меняются: помимо FLOPS, важны Tokens/s/user, TBT, TTFT, Tokens/kW, пропускная способность HBM и сетевая задержка. Следующий этап конкуренции в области AI‑чипов связан не только с созданием более мощных чипов, но и с решением, какие задачи стоит реализовывать на отдельных чипах, а какие — на общей аппаратной платформе для снижения общей стоимости Tokens.
Подробнее о результатах работы с Jalapeño можно узнать по ссылке
Подписаться в Макс
