Новый метод извлекает задачи и методы из научных статей с высокой точностью

Исследователи Инги Чжан и Чэнчжи Чжан разработали новый метод для извлечения из научных статей предложений, описывающих задачи и методы их решения. Проблема в том, что из‑за небольшого объёма размеченных данных существующие модели слишком сильно зависят от шаблонных формулировок и плохо обобщают информацию. Авторы предложили два решения: во‑первых, использовать десенсибилизацию шаблонных выражений и создавать на этой основе синтетические данные — это уменьшит зависимость моделей от шаблонов; во‑вторых, применить контекстно-зависимый преобразователь, который анализирует контекст и выделяет значимые слова, отсеивая шум. В экспериментах новые модели показали рост макро-балла F1 на 3,71% и 2,67% по сравнению с базовыми моделями на двух наборах данных. При этом выяснилось, что методы контекстного обучения на базе больших языковых моделей (LLM) для этой задачи не подходят.