GPT-агенты и маршрутизация: ловушка Парето при оптимизации затрат
Команда сократила расходы на ИИ за счёт маршрутизации запросов между дешёвой и дорогой моделями, но через несколько месяцев заметила падение удовлетворённости клиентов и рост оттока. Проблема в том, что существующая система измерений не позволяла отследить разрыв в качестве на разных уровнях маршрутизации. В качестве решения предложен каскадный подход к обработке запросов.
читать →
~2 мин
76 просмотра