Исследователи из команды Qwen (Alibaba) и Гонконгского технологического университета (HKUST) провели масштабный эксперимент: в течение года AI-модели управляли интернет-магазином. Для оценки их способности автономно вести бизнес в долгосрочной перспективе был разработан бенчмарк E-Commerce Bench.
В эксперименте участвовали 18 моделей, включая GPT-5.6 Sol, Fable5, Gemini 3.1 Pro, Qwen3.8-Max-Preview, DeepSeek-V4-Pro-Preview. Каждой модели выдали начальный капитал в размере 100 тыс. юаней (около 2,35 млн иен). Задача — максимально увеличить активы за 365 дней.
AI-модели могли одновременно управлять до 4 магазинов в условиях рынка с 6886 товарами и 576 поставщиками. Они самостоятельно выполняли различные бизнес‑операции: рыночные исследования, переговоры о ценах, закупки, ценообразование, отправку товаров, обработку возвратов, управление финансами — с использованием 18 инструментов.
Для оценки использовалась модель рынка на основе данных реальных EC‑сайтов (,) и математический движок для переговоров. Рынок был максимально приближён к реальным условиям: имитированы колебания спроса из‑за распродаж и стихийных бедствий, около четверти поставщиков — мошенники (завышают цены, искажают данные о количестве заказов, отправляют бракованные товары).
Существовали и специфические правила работы: средства на расходы и операционные затраты списывались сразу с банковского счёта, а выручка поступала на кошелёк только после 9 дней хранения в эскроу‑счёте. При отсутствии планового вывода средств возможен дефицит средств (отрицательный баланс на банковском счёте в течение 10 дней подряд). AI использовал максимум 20 ячеек памяти для хранения информации о сделках, старые записи разговоров автоматически удалялись.
Результаты эксперимента оказались неоднозначными. Лидером по итоговому капиталу стал GPT-5.6 Sol — он увеличил начальный капитал в среднем примерно в 14,3 раза (около 143 млн юаней). Однако по доле расходов на мошенников GPT-5.6 Sol занял лишь 16‑е место из 18. Fable5 занял второе место (увеличение капитала примерно в 8 раз). При этом модель использовала вдвое меньше вызовов инструментов, чем GPT-5.6 Sol, и стала лидером по эффективности прибыли на сделку. Claude Opus 4.7 показал лучшие результаты по способности вести переговоры о скидках и по уровню защиты от мошенничества, но не смог увеличить объём сделок — итоговый капитал оказался на 8‑м месте. Qwen3.8-Max-Preview от Alibaba занял 5‑е место (увеличение капитала примерно в 4,2 раза). Модель отличилась лучшими долгосрочными способностями к обучению: при повторных закупках она использовала прошлые минимальные цены как базу для дополнительных скидок.
Из 90 тестовых запусков (каждая модель тестировалась 5 раз) 10 завершились банкротством. GPT-5.5, Claude Opus 4.6, Gemini 3.1 Pro обанкротились в 2 случаях из 5, Qwen3.5-Plus — в 4 случаях из 5.
Seamless
＠shiropen2
E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation
Подписаться в Макс
