ИИ-агенты больше не путают навыки: новый способ оптимизировать описания

Авторы разработали автоматизированный способ оптимизации описаний навыков для корпоративных ИИ-агентов. Проблема в том, что когда описания двух навыков слишком похожи, ИИ-система (routing LLM) неправильно направляет запросы пользователей — это называют коллизией навыков. Ручная настройка описаний занимает много времени: на каждый навык уходит около 120 минут. Новый конвейер сокращает время до 3,8 минут (в 32 раза быстрее) и обеспечивает качество на уровне ручной настройки — показатель F1 достигает 79,2–79,4 %. Выяснилось, что для большинства улучшений достаточно однократной перезаписи описаний с использованием данных о ложных срабатываниях и пропусках. Другие параметры (например, размер выборки или количество итераций) влияют на результат незначительно — менее чем на 0,5 %.