Национальный институт информатики Японии (NII) 18 августа опубликовал новую версию открытого отечественного большого языкового модели (LLM) — LLM-jp-4 33B. Представлено два варианта модели: llm-jp-4-33b-base (прошли предварительное и промежуточное обучение) и llm-jp-4-33b-thinking (дополнительно обучена с помощью SFT и DPO — метода, который подстраивает ответы ИИ под предпочтения людей). Лицензия — Apache 2.0, разрешена коммерческая эксплуатация.
В отличие от выпущенного в апреле LLM-jp-4 32B-A3B (с архитектурой MoE, которая повышает эффективность обработки за счёт задействования только части компонентов модели), новая модель использует всю совокупность параметров (тип Dense) для вывода результатов.
Для оценки производительности применялся собственный фреймворк llm-jp-judge. Модель превзошла предыдущие версии серии LLM-jp-4 и модель gpt-oss-20b от OpenAI по четырём бенчмаркам: MT-Bench (на японском и английском языках), AnswerCarefully (оценка безопасности) и другим.
NII через свой центр исследований и разработок LLM-jp ведёт работу в рамках сообщества по созданию больших языковых моделей. В апреле были выпущены LLM-jp-4 32B-A3B и LLM-jp-4 8B.
Подписаться в Макс
