NVIDIA 11 августа (по местному времени) представила открытую модель Nemotron 3.5 Lightning с 30 миллиардами (30B) параметров. Модель разработана для постоянно работающих AI-агентов, таких как OpenClaw и Hermes Agent. Производитель заявляет, что она сочетает невысокую стоимость, характерную для небольших моделей, и производительность, сопоставимую с крупными моделями.
В основе модели — архитектура MoE: в ней предусмотрено несколько обработчиков, и в зависимости от входных данных задействуется только часть из них — это повышает эффективность обработки. При этом во время вывода активны 3 миллиарда (3B) параметров.
Для сохранения точности при высокой скорости генерации в модели использованы методы «предположительного декодирования» (проверка результатов малых моделей с помощью крупных) и квантования (преобразование весов модели в низкобитные значения).
Сервис оценки производительности AI-моделей Artificial Analysis поставил Nemotron 3.5 Lightning 24 балла в Artificial Analysis Intelligence Index. Это сопоставимо с моделью GPT-OSS-120B от OpenAI, у которой примерно в 4 раза больше параметров. По сравнению с предыдущей версией Nemotron 3 Nano модель улучшила результат на 9 баллов. Скорость вывода составляет около 670 токенов в секунду — это значительно выше, чем у аналогичных моделей других разработчиков.
Веса модели, обучающие данные и рецепты распространяются под лицензией OpenMDW-1.1 на платформах вроде Hugging Face.
Подписаться в Макс
