ModernBERT научился разбираться в юридических документах

ModernBERT адаптировали для юридической сферы — обучили на судебных решениях США. Модель лучше обрабатывает юридические тексты, работает с последовательностями до 8192 токенов. Модель выложена в открытый доступ.

Исследователи Доминик Штаммбах и Питер Хендерсон адаптировали модель ModernBERT для работы с юридической сферой. Они предварительно обучили модель на огромном массиве судебных решений США. В результате модель стала лучше обрабатывать юридические тексты — это подтвердили тесты на соответствующих наборах данных. ModernBERT теперь может работать с последовательностями до 8192 токенов: например, находить нужные юридические фрагменты по запросу или вычислять значимые вложения для фрагментов текста. Все версии модели авторы выложили в открытый доступ.