Проверка решений в кодировании: почему «серебряной пули» не существует

Исследователи выяснили, что с развитием ИИ генерировать сложные решения для кодирования стало проще, а вот надёжно их проверять — сложнее. Авторы проанализировали, как оценить качество сигналов проверки, рассмотрев три ключевых параметра: масштабируемость, достоверность и надёжность. Они изучили четыре схемы вознаграждения: тестовый верификатор для общих задач по кодированию, рубрикационный верификатор для задач внешнего интерфейса, использование пользователя в качестве верификатора для реальных задач агента и автоматизированный агент‑верификатор для долгосрочных задач. Эксперименты показали, что целенаправленная верификация помогает бороться с манипуляциями при получении вознаграждений, повышает качество выполнения задач. Это важный шаг к созданию более надёжных ИИ‑систем для программирования.