Новый метод проверки LLM: как убедиться, что ИИ понимает теорию, а не просто копирует?

Предложен метод калибровки LLM: он разбирает задачу на компоненты и проверяет, соответствует ли ответ модели теории, а не просто копирует данные.

Исследователь Мануэль Пита предложил новый метод калибровки для проверки больших языковых моделей (LLM). Суть в том, что сейчас LLM могут генерировать код, похожий на тот, что создаёт человек, но это не всегда означает, что модель действительно понимает теорию — порой она просто находит корреляции в данных. Новый метод разбивает задачу на части: анализирует отдельные предложения, проверяет их соответствие теории с помощью дополнительных доказательств и объединяет результаты по чётким правилам. Так можно понять, на чём на самом деле основан ответ LLM — на теории или на случайных совпадениях. Для разработчиков и компаний это важный шаг к созданию более надёжных и прозрачных ИИ-систем.