Крупномасштабные языковые модели (LLM) сталкиваются с проблемой «иллюзии», которая мешает их практическому применению. Исследователи из Google предложили концепцию «достоверной неопределённости»: реакция модели ИИ должна соответствовать её внутреннему уровню уверенности. Это позволит LLM не ограничиваться бинарным выбором «отвечать или не отвечать», а активно выводить гипотезы — например, «Моё лучшее предположение — это…».
Одна из ключевых проблем — LLM не понимает ограниченности своих знаний. Нужно уметь различать «факты, которые модель уже знает», и «модель знает то, что она знает». Гал Йона из Google Research, соавтор статьи, выделяет два пути повышения фактической точности LLM:
* привить больше знаний ИИ (но возможности модели ограничены, а знания практически безграничны);
* заставить модель понимать, что она «ничего не знает», и выбирать «нет ответа» при достижении предела знаний.
Меры по уменьшению иллюзии ИИ могут снизить практическую полезность LLM. Например, модель может отказываться отвечать на вопросы, которые знает, чтобы избежать ошибок. Существует так называемый «налог на полезность»: если требуется снизить частоту ошибок с 25 % до 5 %, модель будет отказываться от до 52 % правильных ответов. В результате компании и разработчики часто вынуждены выбирать между надёжностью и практичностью ИИ — многие намеренно допускают иллюзию ИИ, чтобы избежать этого «налога».
Исследователи Google предлагают переопределить галлюцинации как «уверенные ошибки» («ошибки самоуверенности») — неверную информацию, переданную авторитетным тоном без надлежащих условий и допущений. При этом если модель допускает ошибку, но даёт ответ в сдержанном тоне (например, «Я не совсем уверен, но я думаю…»), это нельзя считать иллюзией ИИ. Решение заключается в «точной неопределённости»: модель должна согласовать лингвистическую неопределённость (слова для выражения сомнений) с внутренней статистикой уверенности в ответах. Так ИИ сможет проявлять осторожность только в тех случаях, когда внутреннее состояние отражает противоречия или когда он готов предоставить информацию с низкой вероятностью.
Устойчивость к неопределённости — ключ к «постустановленному познанию» модели ИИ. Система неопределённости даст ИИ возможность формулировать диагнозы подобно врачу: например, точно сказать «перелом» или предположить «может быть растяжение связок». Исследователи разработали фреймворк, в котором «честные ошибки» (когда модель уверена в прогнозе, но факты неверны) отличаются от галлюцинаций ИИ.
Традиционные средства расширения знаний дополняют систему определения неопределённости: первые расширяют границы знаний LLM и минимизируют честные ошибки, вторые правдиво отражают границы знаний ИИ. Особенно важна система неопределённости для агентов ИИ, которым требуется доступ к внешним инструментам. Без надёжной системы определения неопределённости агент ИИ может тратить время на поиск уже известных данных или использовать неправильные методы для поиска новых знаний, что приводит к ошибочным результатам.
Внешние методы (классификаторы запросов, правила «всегда выполнять поисковые задачи») статичны и хрупки. Точная система определения неопределённости позволяет корректировать поведение ИИ: обращаться к инструментам поиска только при низкой уверенности LLM. Также она нужна для оценки результатов поиска: агент ИИ сопоставляет внешнюю информацию со своими априорными знаниями, чтобы избежать безоговорочного доверия внешним источникам.
Для обучения моделей ИИ грамматике неопределённости (например, фразам «я не совсем уверен, но я думаю…») можно использовать методы контролируемой точной настройки (SFT) с использованием авторитетного текста в качестве учебных материалов. Однако у метода SFT есть «парадокс начальной загрузки»: он выдаёт «правильный ответ» из стандартного набора обучающих данных независимо от модели. Истинная величина неопределённости модели проистекает из её динамической базы знаний.
Гал Йона отмечает, что цель выражения неуверенности ИИ динамична и зависит от того, что модель знает или не знает в момент обучения. Существует противоречие: если разработчик обучает ИИ с пометкой «Я не знаю ○○», но база знаний модели уже знает ○○, то модель учится имитировать неопределённость. Для компаний, которые не хотят вкладывать средства в дорогостоящее обучение ИИ, решением может стать быстрая инженерия для улучшения когнитивных способностей модели — например, с использованием фреймворков с открытым исходным кодом (MetaFaith Framework). Однако индустрии ИИ по‑прежнему нужны передовые методы обучения с подкреплением (RL) для глубокой интеграции когнитивных способностей.
При переходе от простых чат‑ботов к сложным многоагентным рабочим процессам способность ИИ к самовосприятию станет ключевым условием для надёжной автономии. Оценить, знает ли ИИ свои пределы, — сложная техническая задача. Гал Йона подчёркивает, что модель LLM может имитировать проявления неопределённости, но не понимает своего внутреннего состояния. Разработка системы оценки, которая сможет различать имитацию и реальное понимание, — важнейшая проблема в области ИИ в будущем.
Подписаться в Макс
