Компания Rippling за 6 месяцев внедрила искусственный интеллект в каждый продукт, используя Deep Agents и LangSmith. Ей требовался ИИ, способный работать с массивной онтологией — модель данных компании включает тысячи таблиц и пересекающиеся концепции в области управления персоналом, ИТ, расчёта заработной платы, финансов и глобальных операций.
В основе системы — мультиагентная архитектура. Агент-супервизор координирует работу специализированных агентов: read (запрашивают структурированные данные по продуктовым областям Rippling и подключённым платформам вроде Salesforce, Carta и GitHub), RAG (извлекают данные из неструктурированных источников — документов справочного центра, справочников компаний и документов по кадровой политике) и action (выполняют операции записи в Rippling — например, загрузку бонусов, нормализацию названий должностей, привлечение новых сотрудников).
LangSmith поддерживает производственную отладку и оценку: Rippling использует трассировки, многоуровневые оценки и полуавтоматический цикл самовосстановления, чтобы отслеживать регрессии и со временем улучшать качество системы. Пользователи взаимодействуют с Rippling AI через интерфейс чата на портале Rippling и в мобильном приложении — при этом система работает не только с текстом, но и со структурированными данными (их можно отображать в виде таблиц, сортировать и фильтровать).
Одна из главных технических задач — контекстная инженерия. Чтобы её решить, команда разработала три шаблона. Например, динамическое внедрение навыков в Rippling использует промежуточное ПО Deep Agents, чтобы уменьшить разбухание контекста: когда пользователь задаёт вопрос, сначала на семантическом уровне Rippling определяют соответствующую область, а затем вводят информацию о навыках, относящихся к этой области (зарплата, устройства, ATS, расходы и т. д.).
Ещё одно решение — изолированное выполнение кода для операций записи: агенты action agents приводят входные данные (например, CSV от клиента) в формат, который ожидают внутренние инструменты Rippling. Это отделяет рассуждения LLM («что делать») от форматирования данных («как это сделать»), обеспечивая надёжность нормализации и возможность проверки данных.
Команда также нашла способ бороться с галлюцинациями LLM при повторении длинных буквенно-цифровых идентификаторов: REPL поддерживает сохранение переменных во время выполнения между шагами агента — вместо передачи необработанных строк сущностей агент обращается к именованным переменным при вызове инструмента.
Система оценок многоуровневая, все результаты загружаются в LangSmith:
- автономные evals — предварительно записанные макеты и исправления, которые запускаются локально при каждой фиксации без внешних зависимостей;
- проверка интеграции после слияния (онлайн) — от 300 до 400 запросов к изолированной среде Rippling (вызовы API в режиме реального времени) для проверки работоспособности системы перед развёртыванием;
- проверка блокировки развёртывания (онлайн) — около 10 критических сценариев для реальных систем, которые определяют каждое развёртывание;
- непрерывные оценки (онлайн) — запланированные проверки на основе производственных данных (несколько раз в день) для мониторинга работоспособности системы в реальном времени.
Сейчас более миллиона человек по всему миру используют Rippling AI. Каждый разговор проходит через LangSmith — это обеспечивает непрерывный цикл отслеживания качества, обратной связи с пользователями и улучшения системы. По словам Сахина Олута, главного инженера, для команд, создающих ИИ на сложных платформах, важно создавать системы, с которыми уже знакомы магистранты, мыслить об агентах как о коллегах и выстраивать чёткие циклы самонастройки.
Подписаться в Макс
