Интеллектуальный анализ трассировок — ключ к развитию агентов. Трассировки фиксируют опыт работы агентов в средах и помогают понять их поведение, которое зачастую менее прозрачно, чем в традиционном коде. С их помощью можно разработать количественные показатели и интуитивное представление о том, как агенты выполняют задачи.
Непрерывное обучение — один из важных механизмов совершенствования агентов: они совершают действия в среде и интегрируют полученную информацию обратно в систему. Сбор данных в масштабе необходим для экспериментов и дальнейшего улучшения агентов. Интеграция информации может включать:
* сбор обучающих данных для интеграции в model weights с помощью SFT, RL и других методов;
* harness engineering — добавление инструкций, инструментов, навыков, стратегий согласования;
* интеграцию информации в хранилища памяти для контекстного поиска.
Практический рецепт повышения квалификации агентов выглядит так: запустить механизм сбора данных — создать и внедрить версию агента, провести анализ данных, получить оценки (обучающие данные) для соответствия экспериментам, понять агентов с помощью трассировок в масштабе.
Современные агенты производят огромные объёмы данных — миллионы трасс длиной в миллионы токенов. Это создаёт проблемы: высокие затраты на обработку токенов и сложность поиска важных сигналов в трассах. Для решения этих проблем создаются специализированные агенты и модели. Например, LangSmith — продукт на основе трассировки данных для майнинга от LangChain Labs. Он использует специализированные агенты для:
* считывания трассировок;
* поиска важных сигналов;
* обнаружения проблем;
* исправления кода;
* генерации оценок;
* сохранения информации в памяти и контекстных хранилищах;
* улучшения агентов со временем.
Результаты анализа трассировки становятся входными данными для экспериментов по циклу улучшения. Поиск «хороших» трассировок позволяет отбирать модели меньшего размера, что повышает эффективность затрат. Например, в Terminal Bench 2.0 простая настройка ремня безопасности с помощью показателей правильности восхождения на холм и трассировок позволила повысить эффективность на 13,7 % по сравнению с базовым ремнём безопасности.
В узких задачах открытые небольшие модели превосходят модели с закрытыми границами — их использование дешевле на порядки. При больших объёмах вычислений владение и развёртывание собственной аналитики моделей тоже оказывается дешевле: затраты на токены заменяются затратами на инфраструктуру. Системы для понимания моделей TracesOpen экономически эффективны для масштабной обработки трассировок.
Стратегия «воронка» («сэндвич») предполагает последовательность: разработка систем безопасности -> точная настройка -> разработка систем безопасности. Для большинства команд достаточно разработки систем безопасности — они получают мгновенную обратную связь и доступ к платформе с высокой пропускной способностью для передачи знаний и наблюдений за ошибками в агент. Тонкая настройка имеет смысл при достижении предела интеллектуальности harness engineering и в случаях с высокой логической нагрузкой — это сложный процесс с обработкой данных и экспериментами с длительными циклами обратной связи.
Дальнейшие разработки после отладки модели позволяют применить новые интеллектуальные ландшафты к смежным проблемам. Рекомендации для команд — найти компромисс между быстрой итерацией и постепенным внедрением сложных функций подгонки.
LangSmith — платформа для разработки агентов: она помогает отлаживать решения агента, оценивать изменения и внедрять их одним щелчком мыши. Данные, как ожидается, станут ключевым фактором улучшения работы агентов в ближайшие годы — агенты будут генерировать больше данных, чем люди за всю историю, поэтому инструменты для их обработки нужно обновить.
Подписаться в Макс
