20 октября DeepSeek открыла исходный код фреймворка DeepInfer и раскрыла детали развёртывания своей системы масштабного вывода V4.1 Flash. DeepInfer — это интегрированный движок для вывода, который объединяет ранее открытые компоненты ускорения (FlashMLA, DeepGEMM, DeepEP) и добавляет новые функции: выполнение моделей, параллельные вычисления, асинхронное планирование и предположительное декодирование. Фреймворк создан на базе open-source фреймворка vLLM, а также с учётом опыта проектов SGLang и TensorRT-LLM.
DeepSeek оптимизирует работу с большими объёмами данных: разделяет обработку входных данных (Prefill) и генерацию ответов (Decode) и размещает их на разных узлах — для Prefill использует серверы с 8 GPU, для Decode — узлы с 64–128 GPU. Для ускорения работы с гибридными экспертными моделями применяется параллелизм экспертов (Expert Parallelism), что снижает объём передачи данных в памяти и увеличивает скорость генерации токенов в секунду. Для избежания повторных вычислений используется KV Cache: часть данных сохраняется в распределённом хранилище 3FS. Общий объём хранилища 3FS составляет около 100 PiB SSD: для Agent-трафика данные хранятся 3 дня, для чатов — 7 дней. Благодаря такой системе один кластер DeepSeek обрабатывает 155 млрд токенов в день.
На данный момент открытая версия DeepInfer поддерживает только офлайн-вывод для модели DeepSeek-V4.1-Flash и работает на GPU NVIDIA SM100 и NPU Huawei Ascend 950. Некоторые функции, включая полное управление KV Cache, разделение Prefill и Decode и балансировку нагрузки между узлами, ещё не открыты.
По мнению аналитиков, DeepInfer будет особенно полезен компаниям, которые самостоятельно развёртывают модели DeepSeek. В то же время эксперты считают, что через публикацию технологий компания стремится укрепить позиции лидера на рынке AI-технологий.
Подписаться в Макс
