MKG-RAG-Bench: новый тест для мультимодальных систем ИИ

Создан тест MKG-RAG-Bench для оценки систем RAG на основе мультимодальных графов знаний — он поможет улучшить работу ИИ в работе с разнородными данными.

Исследователи разработали MKG-RAG-Bench — тест для оценки работы систем с дополненным поиском (RAG) на основе мультимодальных графов знаний. Проблема в том, что существующие тесты не учитывают сложности поиска в мультимодальных данных: такие знания неоднородны, их трудно согласовать между разными типами данных (текст, изображения и т. д.), а обычные поисковые системы с ними плохо справляются. MKG-RAG-Bench включает два мультимодальных графа знаний — для общей и медицинской областей — и наборы данных с вопросами и ответами для оценки поиска и генерации текста. Тест поможет выявить слабые места мультимодальных систем и улучшить их работу.