Стоимость использования ИИ стремительно падает. В начале 2023 года обработка миллиона токенов с помощью GPT‑4 обходилась примерно в 30 долларов, а сейчас — менее 1 доллара. Некоторые провайдеры снижают цену ниже 0,10 доллара. Цены на выводные устройства за год упали в 9–900 раз, в среднем — почти в 50 раз. Модели frontier и с открытым исходным кодом становятся дешевле с каждым поколением. Скоро может наступить эра практически бесплатного интеллекта, который будет достаточен для повседневной умственной работы.
Об этих и других тенденциях говорится в докладе Адитьи Г. Парамешварана (доцент EECS, содиректор лаборатории EPIC Data в Калифорнийском университете в Беркли) и его коллег. Авторы выделяют три ключевых вызова и возможности, связанные с практически нулевыми затратами на логический вывод:
- Перепроектирование информационных систем для агентов: множество агентов будет задействовано в ответ на каждый запрос конечного пользователя, поэтому нужно адаптировать системы обработки данных.
- Разработка новых основ для управления тысячами агентов: требуется понять, как создать системы обработки данных, которые смогут надёжно и эффективно запускать и контролировать группы агентов — координировать их действия, достигать консенсуса, устранять сбои.
- Создание доверенных систем обработки данных, синтезированных агентами: агенты способны за один раз синтезировать целые системы обработки данных и перестраивать пользовательские системы под новые рабочие нагрузки. Однако сложно проверить, соответствуют ли такие системы заданному поведению.
Агентная спекуляция включает анализ схемы, исследование по столбцам, частичную и полную формулировку запроса. Один пользовательский запрос при наличии нескольких агентов может составлять до 1000 отдельных SQL‑запросов. Пользователи способны выполнять сложные задачи, например:
* анализ первопричин («почему продажи кофе в Беркли упали в этом году»);
* поисковый когортный анализ («какие сегменты пользователей, скорее всего, увеличат отток в следующем квартале»);
* объединения, агрегации, комбинации фильтров.
В тесте преобразования текста в SQL, где несколько агентов выполняют задачу, различаются только 10–20 % подпланов — 80–90 % подзапросов дублируются. При этом показатели успешности выполнения задач растут по мере увеличения числа попыток использования агентов.
Система обработки данных, ориентированная на агента, может:
* повторно использовать результаты в перекрывающихся подпланах (на основе литературы по оптимизации с несколькими запросами и совместному сканированию);
* возвращать приблизительные ответы (на основе литературы по AQP);
* передавать результаты конечных или промежуточных операций.
Возможны изменения интерфейса запросов: агенты могут выдавать пакет запросов с требованиями к приближению. Системы обработки данных должны поддерживать примитивы более высокого уровня, а не требовать от агентов явного перечисления каждого SQL‑запроса. Например, можно использовать макросы Jinja в стиле DBT для предоставления примитивов на основе циклов, которые упростят взаимодействие агентов с системами данных.
Системы обработки данных могут быть проактивными: направлять агентов, предоставлять результаты связанных запросов, обеспечивать обратную связь (например, оценку задержки вместо выполнения дорогостоящего запроса). Агент может принимать любую форму текстовой обратной связи, не ожидая строгого результата SQL‑запроса. Система данных может заранее подготовить для агента материализованные и виртуальные представления как часть контекста.
Aгентам нужны механизмы запоминания, координации действий и обработки сбоев. Стек логического вывода абстрагируется с помощью API (OpenAI, Anthropic) или обслуживающих фреймворков для моделей с открытым весом. Агентурная основа управлялась с помощью Claude Code и Codex в сочетании с механизмами хранения и извлечения памяти.
Сейчас агенты записывают данные в неструктурированные файлы markdown (MD), которые ищут с помощью grep или поиска на основе встраивания. Многие считают, что проблема непрерывного обучения решается за счёт использования агентами множества ресурсов (кодовая база, Slack, вики‑страницы компании и т. д.) и записи знаний в файлы MD с выборочным извлечением по запросу. Однако при больших масштабах подход с файлами MD станет неэффективным из‑за ограниченных контекстных окон: будет затруднено извлечение и вставка в контекст всех релевантных фрагментов файла MD. Невозможно сериализовать все соответствующие данные в контекст при взаимодействии с большими базами данных или кодовыми базами.
Графы знаний и неструктурированная память на основе MD страдают от отсутствия структурированного поиска. Нужно извлекать память по нескольким атрибутам (модуль, язык, платформа, режим сбоя), а не на основе ключевых слов или сходства. Необработанные трассировки агентов с ошибками бесполезны — требуется память, исправляющая ошибки.
Исследовано понятие структурированной памяти: память упорядочивается по атрибутам, каждый из которых может быть задан как * (универсальная применимость) или как список значений для сопоставления. Для агента обработки данных измерения могут включать столбцы и таблицы, тип операции, открытые корректирующие инструкции на естественном языке. Например: «при выполнении операций с датой и временем используйте финансовый год, а не условные обозначения календарного года» или «столбец product_cleaned предпочтительнее столбца product при запросе названия продукта».
Нерешённый вопрос — определение структурированной памяти, специфичной для конкретного приложения (мировых моделей памяти). Предполагается, что это сродни определению схемы для каждого приложения; агенты могут помочь определить и усовершенствовать её со временем. Структурированная память полезна для эволюционных платформ для управления пространствами поиска: хранение, структурирование и анализ больших объёмов одно- и мультиагентных трассировок повысит эффективность будущих агентов и позволит проводить рекурсивное самосовершенствование.
Существует проблема поддержки одновременного редактирования в общей памяти при множестве агентов: недостаточно существующих методов поддержки многовариантности и семантики копирования при записи при тысячах агентов, редактирующих общее состояние. Важно работать над поддержкой семантики «точно-один раз», методами на основе CRDT и оперативного преобразования. При обновлении механизмов памяти можно пожертвовать согласованностью в пользу корректности для сокращения времени ожидания. Основная проблема — частые конфликты действий агентов в процессе работы. Следует избегать «временной блокировки», когда компенсирующие действия препятствуют прогрессу.
При поддержке армии агентов возникают проблемы: действия при сбое агентов, способы их взаимодействия (напрямую или через общее состояние), работа с отставшими агентами. Внесены изменения в поддержку долговременного мультиагентного выполнения (например, Temporal), но неизвестно, применимы ли такие решения для тысяч агентов. Нужны механизмы переговоров между агентами — например, для консенсуса четырёх агентов‑разработчиков с частично совпадающими целями. Неясно, оптимальна централизованная координация или децентрализованный подход.
С помощью интеллектуальных возможностей можно создавать новые системы обработки данных. Агентный конвейер позволяет синтезировать аналитический механизм с учётом рабочей нагрузки (от нескольких минут до нескольких часов, стоимостью в несколько долларов) — например, через разработку OLAP и GenDB на заказ. Движки одноразовые: их можно восстановить при изменении рабочей нагрузки. Также возможно синтезировать пользовательские хранилища значений ключей, ориентированные на рабочую нагрузку. Современные IDE (например, Kiro) повышают требования к разработке систем.
Основная проблема — несовершенство спецификаций. Решение: использование вспомогательных агентов проверки для генерации тестовых примеров, выявляющих угловые варианты; совместное создание системы и доказательство её корректности. Остаётся выяснить оптимальный способ запроса спецификаций, написанных человеком: итеративно («человек в цикле») или одноразово.
Есть несколько перспективных направлений:
* проверка возможности повышения производительности и доверия пользователей через запуск с зрелой системы (например, Postgres) и удаление компонентов/функциональности;
* создание составного дизайна из проверенных компонентов с учётом рабочей нагрузки (например, изменения в оптимизаторе запросов при неизменном уровне хранилища);
* использование агентов в сочетании с системами проверки для обработки критических частей кода, связанных с формальной проверкой;
* отказ от традиционного стека систем обработки данных (синтаксический анализатор, оптимизатор запросов, менеджер хранилища и т. д.) и предоставление агентам возможности «смешивать» компоненты для выявления новых возможностей оптимизации.
Агенты могут восполнять пробелы в функциональности, совершенствовать системы с открытым исходным кодом в ответ на запросы или проблемы. В будущем нагрузка на информационные системы изменится: агенты будут брать на себя основную часть интеллектуального труда, участвовать в проектировании информационных систем. Границы между агентами и системами данных будут стираться: агенты могут разрабатывать системы данных, в которых они работают, определяя интерфейсы и системные компоненты; интерфейсы и компоненты могут совершенствоваться агентами в форме рекурсивного самосовершенствования. Есть возможность переосмыслить информационные системы как целостный источник достоверности для всего соответствующего состояния (необработанные данные, память, состояние координации). Системы обработки данных могут включать агентные компоненты, превращаясь в интеллектуальные, проактивные, самооптимизирующиеся архитектуры.
Работа является результатом совместных исследований с сотрудниками EPIC Data Lab, Data Systems & Foundations group и сообщества разработчиков систем ИИ в Беркли.
@misc{intelligence-is-free-blog,
title={Intelligence is Free, Now What? Data Systems for, of, and by Agents},
author={Aditya G. Parameswaran and Shubham Agarwal and Kerem Akillioglu and Shreya Shankar
and Sepanta Zeighami and Rishabh Iyer and Matei Zaharia and Alvin Cheung
and Natacha Crooks and Joseph Gonzalez and Joseph Hellerstein and Ion Stoica},
howpublished={\url{https://bair.berkeley.edu/blog/2026/07/07/intelligence-is-free-now-what/}},
year={2026}
}
Подписаться в Макс