ИИ научился рисовать научные схемы: представлен новый тест для оценки изображений

Представлен тест SciDraw-Bench для оценки научных рисунков, сгенерированных ИИ. Он проверяет корректность надписей, изображений и соблюдение правил. Система SciDraw AI лучше общих моделей.

Исследователь Дэви Чен представил тест SciDraw-Bench для оценки способности ИИ создавать научные рисунки — например, схемы механизмов или экспериментального проектирования. В отличие от существующих тестов (GenEval, T2I-CompBench, DPG-Bench), которые фокусируются на фотореализме и композиции, SciDraw-Bench проверяет, насколько рисунки подходят для научной работы: корректны ли текстовые надписи, точно ли изображены объекты и их взаимосвязи, соблюдены ли правила рисования в конкретной дисциплине. Тест включает 32 задачи по созданию рисунков восьми типов в десяти дисциплинах. Авторы также оценили систему SciDraw AI, которая ориентирована на конкретную предметную область, — она показала лучшие результаты по сравнению с общими моделями преобразования текста в изображение. Самым сложным параметром для всех систем осталась точность текста.