Британская компания Fractile, основанная в 2022 году учёным из Оксфордского университета Уолтером Гудвином, разрабатывает логические чипы для процесса рассуждения (inference) в ИИ — то есть для обработки запросов пользователей, а не для обучения моделей. Гудвин считает, что главная проблема современных ИИ-моделей — время, необходимое для генерации полезного ответа: с ростом сложности моделей для выполнения задачи требуется всё больше токенов, а задержка запроса зависит от скорости перемещения данных между процессором и памятью.
Fractile создаёт чип и архитектуру для серверов, которая позволит увеличить пропускную способность без потери скорости. Компания отказалась от использования HBM (высокочастотной памяти) и SRAM внутри чипа, а также разработала нестандартное расположение памяти и вычислительных блоков — это должно обеспечить одновременно низкую задержку и высокую пропускную способность.
Fractile заявляет, что её решение позволит ускорить выполнение задач самых продвинутых моделей до 25 раз, снизить затраты в 10 раз и обрабатывать тысячи токенов в секунду для тысяч одновременных пользователей. При этом первые партии чипов появятся только в 2027 году.
Тем не менее Anthropic уже заключила с Fractile соглашение на закупку чипов на 250 млн долларов. Сейчас Fractile ведёт переговоры о новом раунде финансирования при предварительной оценке в 65 млрд долларов — ожидается, что компания привлечёт около 6 млрд долларов. При этом три месяца назад оценку компании оценивали примерно в 10 млрд долларов.
Рынок чипов для inference активно развивается. Например, компания Etched, которая разрабатывает чипы для архитектуры transformer, за месяц увеличила оценку до 210 млрд долларов и привлекла 7 млрд долларов в новом раунде финансирования. Etched утверждает, что уже получила заказы на сумму свыше 1 млрд долларов. Компания Cerebras, известная своими крупными чипами, в мае вышла на биржу Nasdaq, привлекая 55,5 млрд долларов — это крупнейшее IPO в американской технологической отрасли с 2019 года, а оценка компании достигла 950 млрд долларов.
Кроме стартапов, на рынок выходят и крупные игроки — NVIDIA, AWS, Google Cloud и другие — они выпускают специализированные процессоры для inference. При этом эксперты отмечают, что высокие оценки компаний ещё не гарантируют их коммерческого успеха: в истории полупроводниковой отрасли было немало примеров технологически продвинутых чипов, которые так и не стали основой прибыльного бизнеса.
Подписаться в Макс
