ProvenAI: как проверить, откуда взялись ответы ИИ

ProvenAI — фреймворк для оценки соответствия ответов ИИ источникам: проверяет правильность, цитирование и влияние источников. Тестировался на HotpotQA, показал точность ответов 53,53 %, цитирования — 71,55 %.

Исследователи Мохаммад Файзан и Далал Альхарти представили фреймворк ProvenAI. Он позволяет оценить, насколько ответы, сгенерированные ИИ, соответствуют источникам: система проверяет правильность ответов, точность цитирования и то, как каждый источник повлиял на итоговый результат. Для тестирования использовали датасет HotpotQA distractor benchmark — система обработала 7 405 примеров. В результате точность ответов составила 53,53 %, а точность цитирования — 71,55 %. ProvenAI помогает выявить случаи, когда цитируемые источники слабо влияют на ответ, а нецитируемые, наоборот, играют большую роль. Это важный шаг к повышению прозрачности работы ИИ-систем.