// AI на русском
63 статьи по теме
Стартап Netris предлагает решение для ускорения запуска сервисов в нео-облаках — ПО и платформу для автоматизации настройки сетевых коммутаторов. Компания привлекла 15 млн долларов в раунде серии А от a16z. Её решения уже работают более чем на 35 графических кластерах по всему миру.
OpenAI совместно с Broadcom представила чип Jalapeño для серверов ИИ — он предназначен для работы с моделями LLM и обработки запросов в ChatGPT. Чип должен снизить зависимость OpenAI от графических процессоров Nvidia. Предварительные тесты демонстрируют высокую производительность решения.
Оптимизация обучения ИИ‑моделей с помощью Amazon SageMaker AI и NVIDIA Blackwell позволяет преодолеть ограничения при обучении крупных моделей. Решение включает настройку размеров батчей и длин последовательностей, активацию чекпоинтинга, выбор подходящих форматов точности и использование TransformerEngine. Для разных размеров моделей применяются различные стратегии оптимизации.