Собственное владение интеллектом (owning intelligence) — это контроль над моделями, системами агентов, контекстом и памятью, а также управление стоимостью, качеством, рисками и поведением ИИ. Ключевое преимущество здесь — цикл обратной связи: система совершенствуется по мере использования.
В ближайшие пять лет компании будут применять ИИ двумя основными способами: либо для выполнения критически важных бизнес‑задач, либо как часть продукта, который продают клиентам. Однако общего ИИ для этих целей недостаточно.
Готовый ИИ может стать хорошей отправной точкой, но для управления бизнес‑операциями он не подходит из‑за специфики работы компании. К примеру, общая модель способна прочитать страховой полис, обобщить заявление о возмещении и объяснить базовые концепции покрытия. Но чтобы обработать заявление, нужны специфические данные — язык полиса, требования регулирования по штатам, сигналы мошенничества, исторические шаблоны заявлений, правила эскалации, сегментирование клиентов, толерантность к рискам. Таких данных в общей модели нет.
Если ИИ выступает в роли продукта (скажем, юридического помощника), то базовая модель — это лишь часть решения. Настоящий продукт — это комплексная система вокруг модели: рабочие процессы, контекст, инструменты, критерии качества, память и цикл обратной связи, который развивается при каждом взаимодействии с клиентом.
Владение интеллектом не требует создания каждого уровня стека ИИ с нуля. Важно контролировать критические части: поведение интеллекта, то, что он изучает, его стоимость и динамику улучшения со временем.
Эту ситуацию можно сравнить с цепочкой поставок в ритейле: компании не нужно производить каждый грузовик, судно или складского робота. Зато необходимо владеть системой, которая определяет, что закупается, как перемещается инвентарь, как прогнозируется спрос и как обеспечивается качество обслуживания клиентов. Точно так же и с ИИ: можно приобрести модели, вычисления и инфраструктуру, но нужно владеть системой, которая превращает эти ресурсы в специфичный для бизнеса интеллект.
Выделяют три ключевых аспекта владения интеллектом:
* контроль системы агентов;
* владение экономикой, качеством и рисками;
* наращивание интеллекта с течением времени.
Система владения интеллектом включает три слоя. Первый слой — модель (model). Контроль над моделью важен для суверенитета, переносимости и управления развёртыванием (using open-weight models), а также для сохранения гибкости выбора модели (switch across providers) — это особенно актуально при изменении требований к качеству, стоимости, задержке и конфиденциальности.
Второй слой — harness (оркестрационная логика), которая преобразует результаты работы модели в действия (around how context is used). Сюда входят маршрутизация, использование инструментов, шаги рабочего процесса, навыки и так далее.
Третий слой — контекст: документы, политики, инструменты, навыки, предпочтения пользователей, знания на уровне организации и память (how the system becomes more useful). Память играет особую роль, поскольку накапливает данные с течением времени (If you do not own context and memory).
Чтобы эффективно владеть системой агента, необходимо контролировать модель, harness и контекст.
При использовании ИИ в реальной работе компаниям нужно управлять им как операционной системой. Это значит контролировать стоимость работы (measuring its quality), определять области действия системы и отслеживать её действия. При этом рост внедрения ИИ неизбежно ведёт к росту затрат (см. Uber’s cautionary tale).
Крайне важно измерять качество работы системы, а не полагаться на предположения. При обновлении модели, изменении запроса, добавлении инструмента или корректировке рабочего процесса нужно объективно оценивать, улучшилась система или ухудшилась.
Необходимо чётко определять границы действий ИИ: контролировать доступ агентов к данным, используемые инструменты, действия, требующие одобрения, и случаи, когда требуется эскалация.
Наблюдаемость (makes the system accountable) — ещё один ключевой элемент: она нужна для улучшения и аудита системы. Бизнес должен видеть, что система «увидела», что сделала, какие инструменты использовала и почему.
Лучшие системы ИИ становятся эффективнее по мере использования: сотое взаимодействие должно быть ценнее первого, поскольку система узнаёт больше о пользователях, рабочих процессах, политиках, сбоях и предпочтениях.
Цикл обучения начинается с трассировок (Traces show what the agent actually did): нужно фиксировать, какой контекст система увидела, какие инструменты использовала, где возникли сложности и что она выдала. Обратная связь придаёт трассировкам смысл (traces and feedback become the raw material for improvement).
Трассировки и обратная связь служат основой для улучшения системы — путём изменения запросов, harness, инструментов. При этом для каждого изменения важно добавлять оценку: это позволяет зафиксировать результат и убедиться, что последующие изменения не приведут к ухудшению работы системы.
Ключевой показатель эффективности агента — не его работа при первом использовании, а то, насколько он улучшается к сотому использованию.
Чтобы контролировать интеллект, компаниям нужно ответить на ряд ключевых вопросов:
* Можно ли легко перейти на новейшую модель (SOTA), если её запустит новый поставщик?
* Можно ли разместить у себя модель, если её поставщик прекратит поддержку?
* Знаете ли вы и можете ли контролировать логику оркестрации, чтобы точно знать и контролировать, что подаётся в LLM на каждом шаге?
* Можно ли запускать агента одинаково в разных облаках и на устройстве?
* Можно ли отслеживать и контролировать расходы на ИИ из расчёта на пользователя?
* Можете ли вы показать полный след всех шагов и внутренней логики, если спросят, почему агент поступил так, а не иначе?
* Есть ли оценки (evals), чтобы быть уверенным, что смена моделей не приведёт к регрессии?
* Будет ли агент знать больше о пользователе и лучше работать при сотом использовании, чем при первом?
* Можно ли перенести полученные агентом знания в другую систему?
* Можете ли вы контролировать процесс обучения агента?
Таким образом, компаниям не нужно создавать каждый уровень стека ИИ — достаточно приобретать сложные, универсальные и неразличимые части. Главное — контролировать уровень, где накапливается преимущество: систему агентов, управление работой агента и петлю обратной связи, которая улучшает его с каждым использованием. Именно компании, которые сумеют контролировать свой интеллект, смогут создать устойчивую ценность с помощью ИИ.
Подписаться в Макс
