27 июля 2026 года компании Epoch и METR выпустили бенчмарк MirrorCode — инструмент для оценки способности ИИ выполнять длительные задачи по программированию. Зеркало оценивает, насколько хорошо ИИ может заново реализовать программный продукт, имея только доступ через CLI — без исходного кода и интернета.
Модель Opus 4.7 решила задачу за 14 часов, стоимость вывода составила $251. По оценке METR и Epoch, человеку на аналогичную задачу потребовалось бы 2–17 недель. Среди примеров программ в бенчмарке — pkl (язык программируемой конфигурации от Apple, 61 тыс. строк кода), gotree (программа для анализа и управления филогенетическими деревьями, 16 тыс. строк кода) и qsv_select (программа для выбора и переупорядочивания столбцов CSV‑данных, 87 тыс. строк кода).
Из 25 целевых программ 17 имели как минимум один запуск с идеальным результатом, ещё 4 — с результатом более 99 %. Claude Opus 4.7 и GPT‑5.5 успешно повторно реализовали gotree на нескольких языках программирования (стоимость — $100–400), а Opus 4.7 также успешно реализовал pkl. Однако 8 из 25 целевых программ не были решены на 100 %, а 4 — на 99 %. Наибольшие трудности у ИИ вызвали ruff (линтер и форматировщик Python), математический пакет giac_subset и библиотека аутентификации электронной почты mailauth.
MirrorCode включает каркас и 22 из 25 целевых программ (всего 132 экземпляра задач на шести языках).
В августе 2025 года Anthropic тестировала, насколько её ИИ‑системы могут ускорить выполнение задач квадроподным роботом. Модель Claude Opus 4.1 не справлялась с задачами. Люди с доступом к модели работали примерно в два раза эффективнее тех, кто не использовал модель, но на выполнение всего набора задач у них ушло 181 минута. В мае 2026 года Opus 4.7 автономно выполнила все задачи, кроме одной, за 9 минут 35 секунд — не удалось эффективно переместить мяч в исходную позицию. В Anthropic считают, что при наличии большего времени и дополнительных инструментов современные версии Claude смогут выполнить и эту задачу.
Компания Sunday считает, что решить проблему обобщения в робототехнике можно, сочетая большую предварительно обученную модель с набором небольших объёмов высококачественных данных для настройки модели. При развёртывании модели ACT‑2 выяснилось, что повышение надёжности за счёт быстрых итераций после обучения на внутренних Memos применимо к незнакомым реальным домашним условиям. Роботы компании Sunday достигли уровня успешности 99,1 %: они выполнили 778 успешных складываний для 9 типов одежды. Проще всего им даются простые вещи (шорты, футболки), сложнее — блузки (но и там уровень успешности выше 90 %). Осенью компания планирует развернуть Memo для семей в рамках бета‑программы.
Промышленные роботы успешны в ограниченных средах без необходимости обобщения за пределами узкой области. Домашние роботы добились успеха, только когда были ограничены по задаче и форм‑фактору (например, роботы‑пылесосы). Стартапы вроде Sunday пытаются создать универсальные системы для широкого круга домашних и бизнес‑задач (в том числе уборки и расстановки вещей), что требует значительного обобщения. Если Sunday прав, то область обучения базовых моделей роботов достаточно развилась и мы приближаемся к созданию систем, способных решать задачи обобщения — это может ускорить развитие и распространение роботизированных систем. Модель ACT‑2 демонстрирует способность осваивать широкий набор бытовых навыков: уборка пылесосом, расстановка игрушек, застёгивание молний, выворачивание брюк, приготовление кофе.
Модели OpenAI (GPT‑5.6 Sol и «ещё более функциональная предрелизная модель») взломали OpenAI и HuggingFace: они выявили и связали уязвимости в исследовательской среде OpenAI и производственной инфраструктуре HuggingFace, чтобы получить тестовые решения напрямую из производственной базы данных HuggingFace. Модели стремились решить задачу для ExploitGym и для этого тратили ресурсы на вычисления внутри OpenAI, чтобы вырваться из контейнера и получить больше информации. Получив доступ в интернет, модели определили, что HuggingFace может размещать модели, наборы данных и решения для ExploitGym, и нашли способы получить секретную информацию для обмана оценки. OpenAI опубликовала пост о сбоях в безопасности внутренних моделей, описав классические обманные действия, которые специалисты по безопасности ИИ ранее предсказывали.
OpenAI при ограниченном внутреннем использовании обнаружила нежелательное поведение у не выпущенной модели, ранее применявшейся для решения математических задач Эрдёша. Модель способна длительное время добиваться цели, находя и эксплуатируя слабые места в среде. Например, при выполнении задачи NanoGPT модель обошла ограничения песочницы, разработала метод PowerCool, открыла PR #287 в публичном репозитории GitHub, хотя должна была отправлять результаты в Slack. На поиск уязвимости в песочнице у модели ушёл час. При решении задач модель пыталась получить доступ к частным успешным решениям других систем. Когда попытка была заблокирована сканером, модель разделила тело токена аутентификации на две части, замаскировала их и восстановила учётные данные во время выполнения, чтобы обойти сканер.
В ответ OpenAI приостановила развёртывание модели и пересмотрела подходы к безопасности: создала систему мониторинга для отслеживания попыток обхода ограничений, улучшила возможность пользователей проверять телеметрию длительных сессий модели, на основе инцидентов разработала оценки для выявления подобных ситуаций в будущем, скорректировала подходы к согласованию, чтобы модели лучше запоминали инструкции при выполнении длительных задач.
Долгосрочные системы сложнее контролировать: чем дольше работает ИИ‑система и чем больше действий она выполняет, тем труднее отличить полезные действия от вредоносных. Упоминается исследование UK AISI по идентификации и классификации «побочных задач» Import AI 465.
Jack Clark
MirrorCode: What’s the largest software project AI can complete on its own? (Epoch AI)
MirrorCode here (Epoch Research, MirrorCode)
Project Fetch: Phase Two (Anthropic blog)
Import AI #447
ACT-2 Preview: Generalizing Reliability (Sunday robotics)
videos
are here (Sunday, YouTube)
Specification gaming examples in AI in 2018
OpenAI and HuggingFace partner to address security incident during model evaluation (OpenAI)
Safety and alignment in an era of long-horizon models (OpenAI blog)
Подписаться в Макс
