Ускорение Gemini Nano на Pixel с мультитокеновым прогнозированием
Google представила метод ускорения моделей Gemini Nano на устройствах Pixel — адаптацию прогнозирования с использованием нескольких токенов (MTP) к «замороженным» моделям Gemini Nano v3. Новая архитектура устраняет «узкое место» авторегрессивной генерации текста и оптимизирует использование памяти на мобильных устройствах. В экспериментах на Pixel 9 скорость работы выросла на 50 % и более.
читать →
1 просмотр
