В сфере искусственного интеллекта ведётся активный спор о том, должен ли ИИ быть ориентирован преимущественно на автоматизацию человеческого труда или же на усиление человеческих возможностей. В Кремниевой долине доминирует точка зрения, согласно которой ИИ в первую очередь служит инструментом автоматизации, способствующим экономическому росту. Сторонники этого подхода верят в перспективу создания систем AGI — способных автономно выполнять практически любые задачи, доступные человеку.
Однако есть и альтернативная позиция: ИИ может развиваться в направлении сотрудничества с человеком, повышая коллективную эффективность команд. Авторы такой точки зрения считают попытки полностью автоматизировать труд необоснованными с технической и экономической точек зрения. Они указывают, что склонность к автоматизации обусловлена экономическими стимулами, а также интеллектуальными и культурными аспектами информатики.
История информатики содержит глубокие интеллектуальные корни для развития идеи сотрудничества человека и ИИ. В 1940–1960-е годы существовали три видения развития компьютеров:
* классическое ИИ — стремление к созданию антропоморфных машин, способных рассуждать, решать задачи, говорить на человеческом языке (термин «artificial intelligence» введён на конференции в Дартмуте в 1956 году);
* машинное обучение (machine learning) — проработка чётко заданного набора задач с использованием большого объёма данных для прогнозирования;
* взаимодействие человека и компьютера (HCI) — идея совместной работы человека и машины (работы JCR Licklider 1960 года Man-Computer Symbiosis и Engelbart 1962 года Augmenting Human Intellect).
Сегодня ИИ представляет собой слияние классического ИИ и ML, при этом HCI остаётся актуальным направлением.
Существует несколько ключевых проблем на пути к эффективному сотрудничеству человека и ИИ:
Создание «белых ящиков» (white-box agents). Сейчас доминирует парадигма «чёрного ящика» (black box): система оценивается по конечному результату, промежуточные шаги не раскрываются пользователю. «Белые ящики» — это ИИ‑системы, которые более понятны пользователям: они явно раскрывают промежуточные процессы (источники, допущения, методы, неопределённости, артефакты процесса). Для их развития нужно решить множество технических задач, в том числе собрать следы процессов (process traces) для разных видов трудовой деятельности. Компании вроде Mercor и Meta* уже занимаются сбором таких данных — для создания новых «чёрных ящиков» и развития «белых ящиков».
Разработка агентов, способных взаимодействовать в режиме реального времени (с низкой задержкой). Модели, работающие со скоростью, близкой к человеческому взаимодействию, могут углубить сотрудничество человека и ИИ. Сейчас есть выбор между чат‑ботами, которые быстро, но поверхностно отвечают на вопросы, и агентами, которые тщательно выполняют задачи, но нарушают ход разговора. Низкая задержка (latency) может помочь работникам оставаться в состоянии потока (flow) — когда человек полностью погружается в деятельность и забывает о времени и усталости. Многие программисты отмечают, что переход от ручного программирования к контролю над кодирующими агентами привёл к потере состояния потока, когнитивной перегрузке и выгоранию. Гипотеза состоит в том, что можно перепроектировать агентов так, чтобы не только восстановить состояние потока, но и повысить способность людей его достигать.
Непрерывное сотрудничество человека и агентов без ограничений парадигмы по очереди. Сейчас базовая модель взаимодействия — делегирование: пользователь даёт задание агенту, отходит, а потом возвращается, чтобы проверить результат. Модель сотрудничества предполагает активное участие человека в процессе и постоянное управление агентом. Сегодня в основных кодирующих агентах есть примитивная версия постоянного управления — можно давать агенту дополнительные инструкции в процессе работы. Но это лишь незначительное изменение парадигмы. Истинное сотрудничество ставит ряд технических задач: системы должны отображать видимые состояния, которые изменяются непрерывно, а не по очереди; иметь общие рабочие пространства; поддерживать прерывания, параллельную работу, одновременное редактирование и другие модели сотрудничества. Это особенно важно в областях, где сложно заранее точно описать задачу или где проверка сложна и связана с реализацией.
Оценка и оптимизация сотрудничества человека и ИИ. Существующие тесты оценивают, насколько хорошо модель выполняет задачу самостоятельно, а не то, насколько хорошо она сотрудничает с человеком. Возникают вопросы о допустимом количестве разногласий между моделью ИИ и человеком, о степени подчинения модели и уровне контроля со стороны человека, о возможностях обучения сторон в процессе сотрудничества, о краткосрочном и долгосрочном успехе команды, о способах объективной оценки успеха сотрудничества. Статические бенчмарки не подходят для оценки сотрудничества с участием человека. Подход с использованием симуляций многообещающий, но незначительные отклонения в поведении смоделированных и реальных пользователей могут привести к неверному вознаграждению в процессе обучения модели (Simulating the user).
Дебаты о чрезмерности автоматизации сосредоточены на распределительных проблемах: критики опасаются, что массовая автоматизация приведёт к безработице и обнищанию части работников. Экономисты обычно сомневаются в том, что такое произойдёт (современная экономическая история демонстрирует нормальный ритм технологического прогресса, частичную автоматизацию и перераспределение рабочих мест) (skeptical). В Кремниевой долине распространена точка зрения, что людям «не придётся работать» — это поддерживается идеей универсального базового дохода или другими схемами социального обеспечения (accept the empirical premise of mass unemployment, but view it as a good thing). Однако проблема подхода «автоматизировать и компенсировать» не соответствует современной политической экономике США (с 1980‑х годов неравенство доходов резко возросло, при этом американская элита не ввела новых щедрых программ социального обеспечения) (real lives, real work).
Цели развёртывания промышленного ИИ в рамках повестки автоматизации (высокопроизводительные агенты, дешёвые в развёртывании, надёжные и по‑настоящему автономные) противоречат друг другу — приходится выбирать два из трёх: (1) полностью автономный, (2) надёжный в ответственных сценариях, (3) действительно универсального назначения (trilemma, reliable).
Есть и экономические причины, по которым автоматизация привлекательна для компаний: основная статья затрат для большинства компаний — труд; сокращение числа работников быстро отражается на прибыли, а экономия затрат легко просчитывается. Кроме того, автономные модели/агенты позволяют использовать чёткие эталоны оценки — легко измерить, насколько хорошо модель выполнила задачу (функция потерь, показатели производительности, сравнения между моделями). Автономные системы воспринимаются в интеллектуальной культуре ИИ и CS в целом как некий эстетический идеал presented to students. «End to end» система считается успехом, а необходимость человеческого контроля — недостатком. Питер Тиль в «Zero to One» описывает это как «идеологию компьютерных наук»: инженеры-программисты нацелены на проекты, заменяющие человеческие усилия, а учёные строят репутацию через узкоспециализированные исследования и публикации.
В обучении ИИ/машинному обучению стандартный подход — преподавание конвейера модели (формулировка проблемы, данные, выбор модели, обучение, оценка, посттренировка, развёртывание, мониторинг), где центральный объект — квазиавтономная модель, а вопросы взаимодействия человека и машины часто отодвигаются на задний план.
Среди экономистов распространено мнение, что технология такова, какова она есть, — мы не контролируем её направление и развитие, а попытки сделать это обречены на провал. Технологический прогресс воспринимается как линейное движение в одном направлении, а задача экономической политики — не мешать этому процессу. Однако есть исключения: Асемоглу и Рестрепо в ряде работ выдвигают иные аргументы («excess automation»); Асемоглу и Джонсон в книге «Power and Progress» выступают за ИИ, усиливающий человеческие возможности; Бринйолфссон называет опасностью чрезмерную ориентацию ИИ на имитацию человека («Turing Trap»); Аутор пишет, что реальный потенциал ИИ может заключаться в распространении неявных знаний среди более широкого круга работников, а не в их автоматизации («democratization»); Муллаинатан и соавторы запускают инициативу «a series of research projects», выступая за сотрудничество человека и ИИ: алгоритмы и ИИ должны усиливать человеческие возможности, а не заменять их.
При этом позиция сторонников усиления человеческих возможностей остаётся в меньшинстве, а реакция многих экономистов на книгу Асемоглу и Джонсона часто пренебрежительная и снисходительная.
Автоматизация не всегда вредна: многие рутинные задачи хорошо поддаются автоматизации, что является социальным и экономическим прогрессом. Например, в 1900‑х рабочие на мясоперерабатывающих заводах в Чикаго трудились по 12 часов в день 6 дней в неделю за низкую плату, рискуя здоровьем и жизнью; автоматизация улучшила ситуацию в этой и других отраслях (например, в угольных шахтах Вирджинии). Ежегодно в США в ДТП погибают 40 000 человек — в будущем это может показаться ужасающим в мире беспилотных автомобилей.
Предлагается децентрализованный подход: технические эксперименты, культурные и интеллектуальные сдвиги в сфере компьютерных наук, целенаправленная политика и постепенное осознание компаниями ограничений повестки автоматизации.
Появляются новые участники и продукты, ориентированные на спрос на агентов для сотрудничества. Lab Thinking Machines (основана бывшим CTO OpenAI Мирой Мурати) опубликовала architecture для таких агентов: в их концепции есть модель с ультранизкой задержкой и мультимодальностью, которая передаёт сложную работу более мощной фоновой модели. Но готового продукта пока нет. Ведутся активные работы по снижению задержки во всех передовых лабораториях (OpenAI, Anthropic, Google), особенно в OpenAI благодаря partnership with Cerebras, а также в Cursor и Cognition. Прогнозируется рост спроса на такой способ работы с ИИ и эффект маховика.
Компании, специализирующиеся в определённых областях (например, Harvey AI в юриспруденции, OpenEvidence в медицине), могут создавать коллаборативные агенты, так как обладают узкоспециализированными знаниями и опытом. Крупные ИИ‑лаборатории могут быть менее приспособлены к этой задаче по сравнению с отраслевыми компаниями. Регулируемые отрасли (например, юриспруденция и медицина) — естественная цель для коллаборативных моделей «человек‑ИИ», поскольку на многих этапах принятия решений участвуют люди.
Примеры комплементарности человека и ИИ:
* коллективный интеллект: ИИ может повышать продуктивность команд — сохранять организационную память, разрешать конфликты, выявлять экспертизу в команде, синтезировать распределённые знания и помогать в координации;
* новые задачи и возможности: использование ИИ не только для автоматизации существующего труда, но и для выполнения задач, которые люди изначально не могли выполнять (как, например, самолёт или микроскоп);
* повышение квалификации: ИИ может помогать работникам развивать долгосрочные навыки, усваивая неявные экспертные знания;
* ambient agent: модель ИИ, которая работает в организации, отслеживая контекст и предлагая помощь даже без явного вызова (связано с проблемами конфиденциальности и осторожности, но открывает новые возможности для координации).
Роль HCI и культурных изменений: HCI может сыграть важную роль в переориентации CS с повестки автоматизации на более продуктивные направления. Для этого нужно:
* повысить статус HCI усилиями отделов информатики, финансирующих организаций и других лиц, определяющих повестку;
* чтобы HCI эволюционировала — преодолела интеллектуальные и методологические ограничения (в частности, рассматривает контроль человека как аксиому, а не инструментальную цель, и анализирует пользователя, а не более широкие вопросы о фирмах, организациях, стимулах, власти и политэкономии).
legally required
design space of configurations
accomplish new tasks
Новое движение Human-Centered AI — попытка возродить и синтезировать HCI с AI. В одном из возможных сценариев улучшенная версия HCI (и HCAI) обретёт больший статус в университетах и получит значимое влияние на формирование повестки.
В педагогике AI часто в центре внимания оказывается система AI, а не человек. Возможны изменения в syllabi — в разработке эталонов, проведении семинаров, приоритетах финансирования.
Могут быть реализованы целенаправленные правительственные меры:
* на стороне предложения — приоритеты финансирования исследований, премии в стиле DARPA;
* на стороне спроса — корректировка налоговой политики США favors automation (чтобы уменьшить асимметрию), использование государством своего потенциала как крупного покупателя AI‑решений;
* регулирование, требующее контроля человека над AI, должно настаивать на эффективном контроле вместо rubber stamping.
Политика в области конкуренции также может помочь: законодателям следует следить, чтобы клиенты не получали locked in. Ещё один способ направить развитие в сторону дополнения человеческих возможностей (а не автоматизации) — предоставить работникам больше возможностей участвовать в переговорах о внедрении AI.
Сейчас повестка автоматизации в AI лидирует в споре о направлении развития AI. Значительные частные инвестиции направлены на концепцию автоматизации AI — она может быть экономически несостоятельна и не позволит реализовать весь потенциал AI.
Ряд специалистов (экономисты, технологи и др.) ищут другое направление развития AI — с упором на сотрудничество человека и компьютера, чтобы делать то, что невозможно сейчас.
Ключевая задача этого направления — определить и реализовать систематическую исследовательскую программу AI в интересах такого сотрудничества. Есть надежда, что децентрализованный подход снизу вверх может успешно направить развитие и внедрение AI без директив сверху.
Для дальнейшего чтения:
* работы экономистов по теме — The Turing Trap и Building Pro-Worker AI;
* краткая история этих идей в AI и HCI — раздел V.B How AI Fails Us;
* статья Human Amplification, Intelligent Agents, and the Aims of AI Research приводит аналогичные аргументы с философской точки зрения;
* статья AI Agents Push Humans Out of the Loop критикует дизайн текущих агентов AI;
* идеи по усилению собственной субъектности без ожидания изменения AI‑систем представлены Арвиндом в ICML talk, 1.
Приоритеты индустрии (дизайн агентов AI, их оценка, содержание курсов по AI) противоречат заявлениям о том, что инструменты AI созданы, чтобы помогать работникам, а не автоматизировать их труд. Предсказания массовой безработицы со стороны лидеров индустрии основаны на допущении автоматизации. В уставе OpenAI прямо сказано, что миссия — AGI («высокоавтономные системы, которые превосходят людей в большей части экономически ценной работы»). Компании вроде Mechanize откровенно говорят о предполагаемой inevitability полной автоматизации.
* Meta Platforms Inc. признана экстремистской организацией, её деятельность запрещена на территории РФ.
Подписаться в Макс
