Together AI объявила о стратегическом партнёрстве с Moonshot AI — компания станет платформой для выпуска моделей Moonshot. Первым в линейке станет Kimi K3 — открытая модель с 2,8 трлн параметров. В дальнейшем на Together AI будут доступны и другие открытые модели от Moonshot.
Kimi K3 — самая крупная из выпущенных на данный момент открытых моделей. Она представляет собой разрежённую модель Mixture-of-Experts с поддержкой визуализации и контекстным окном на 1 млн токенов. В основе модели — два новых архитектурных компонента: Kimi Delta Attention (KDA) и Attention Residuals (AttnRes). KDA меняет способ передачи информации в зависимости от длины последовательности и значительно ускоряет декодирование при большой длине контекста. AttnRes улучшает извлечение представлений в зависимости от глубины модели, повышая эффективность обучения при минимальных дополнительных затратах вычислительных ресурсов. Также в модели применены оптимизации оптимизатора, включая per-head Muon и квантильное балансирование нагрузки экспертов. По заявлению Moonshot, эти улучшения обеспечивают примерно в 2,5 раза более эффективную масштабируемость по сравнению с Kimi K2.
Модель подходит для задач кодирования на долгосрочную перспективу, агентских рабочих процессов, разработки игр и задач, требующих большого объёма знаний. Результаты бенчмарков позволяют ей конкурировать с ведущими проприетарными системами на рынке.
Kimi модели доступны в продуктах Together AI Inference, включая Serverless, Provisioned Throughput и Dedicated Inference. Разработчики могут использовать зарезервированную ёмкость для вывода открытых моделей с оплатой по количеству токенов и гарантией времени безотказной работы на уровне 99 %. Также доступна возможность пост-обучения моделей с помощью полного обучения весов, LoRA-обучения с подкреплением и продвинутого контролируемого тонкого настройки. Обучение можно настраивать через Python SDK и запускать несколько экспериментов LoRA одновременно на выделенной ёмкости.
Партнёрство открывает для разработчиков ряд возможностей: доступ к моделям в день их выхода, масштабирование с готовой к производству инфраструктурой, единую интеграцию для всей линейки моделей Moonshot, возможность пост-обучения моделей и гибкость в выборе уровня контроля над использованием моделей.
Подписаться в Макс
