Исследователи разработали систему AgentKGV для проверки фактов в графах знаний (KG), которые автоматически создаются из больших объёмов данных. Проблема в том, что такие графы часто содержат ошибки из‑за некачественных источников или сбоев при извлечении данных.
Метод, предложенный авторами, представляет собой агентную систему на базе LLM-RAG (Retrieval-Augmented Generation). Она включает динамическую маршрутизацию и итеративное переписывание запросов — это помогает справляться с расхождениями в формулировках при поиске данных на уровне документов.
Для повышения точности и снижения затрат на промышленное внедрение авторы ввели двухэтапную стратегию обучения. На первом этапе используется дистилляция на уровне запросов: способность к рассуждению переносится из большой «учительской» модели в маленькую, что обеспечивает стабильное переписывание запросов и рассуждения. На втором этапе применяется траекторно-уровневый GRPO — он оптимизирует политику поиска, чтобы сократить ненужные запросы данных в больших масштабах.
Проверку проводили на наборе данных T-REx (в части с длинными предикатами). Результаты показали, что система улучшает показатель macro-F1 по сравнению с одноэтапным RAG на 5,5 процентных пункта. Двухэтапная стратегия обучения дополнительно повышает этот показатель на 9,4 процентных пункта. Кроме того, GRPO сократил среднее количество запросов к поиску с 3,24 до 1,63, не снижая при этом точность.
Авторы не указали явных ограничений своей работы в аннотации.
Практическое значение разработки состоит в том, что она позволяет эффективнее и экономичнее проверять факты в больших графах знаний, что важно для промышленных приложений, где точность данных критична.
Подписаться в Макс
