Японская компания HP совместно с Rakuten Group 29 июля начали предоставлять на японских PC от HP приложение Rakuten AI for Desktop. Особенность решения — возможность использовать разработанную Rakuten модель большого языкового модели (LLM) Rakuten AI 7B ONNX (7 млрд параметров) локально, в том числе в офлайн-режиме. С помощью приложения можно переписывать тексты, делать их краткие изложения и выполнять переводы.
Приложение предназначено для большинства будущих японских PC от HP на Windows (кроме некоторых игровых моделей). Для корпоративных клиентов предоставление стартует с 29 июля, для обычных пользователей — с октября.
Rakuten AI for Desktop реализует гибридный AI: в зависимости от задачи переключается между локальным (on-device) и облачным (cloud) режимами. В локальном режиме задействуются CPU, GPU и NPU компьютера — это позволяет быстро получать ответы без подключения к облаку и безопасно работать с конфиденциальными данными. В облачном режиме доступны функции вроде загрузки изображений и видео, интеграции с сервисами Rakuten: можно искать товары на «Ракутен Маркет», бронировать жильё через «Ракутен Тревел», проверять баланс баллов «Ракутен Поинт» через единый чат.
Модель Rakuten AI 7B ONNX создана на основе Mistral-7B-v0.1 от Mistral AI — её дообучили и оптимизировали для японских пользователей и PC от HP (с применением дообучения, fine-tuning и квантования).
По словам главы HP в Японии Окадо, это важный этап в развитии гибридного AI, который станет частью повседневной жизни. Представитель Rakuten Тин Цай CAIDO привёл пример: он использовал локальный AI на борту самолёта для изучения японского языка. При этом приложение совместимо и с PC других производителей (например, Lenovo) — оно автоматически выбирает подходящий чип для обработки данных.
Подписаться в Макс
