Система предскажет фейковые новости и вспышки насилия: мультимодальный подход

Учёные разработали систему, которая поможет заранее выявлять фейковые новости и признаки готовящихся насильственных действий в толпе. В основе — мультимодальный подход: система анализирует и текст, и изображения. Для работы с текстами на разных языках используют модель XLM-RoBERTa, для обработки изображений — CLIP. Также система учитывает дополнительные данные — например, геопространственные сведения и признаки сарказма в сообщениях. Чтобы проверить работу системы, собрали большой набор данных из 138 256 примеров на бангла и английском языках. В тестах точность достигла 98 %. Это может помочь СМИ, госорганам и платформам соцсетей быстрее реагировать на дезинформацию и предотвращать эскалацию конфликтов.