HierBias: новый детектор предвзятости в СМИ учитывает контекст

Исследователи разработали систему HierBias для выявления предвзятости в СМИ. В отличие от существующих решений, которые анализируют каждое предложение отдельно, HierBias учитывает контекст всего документа — так же, как это делают люди. В основе системы — кодировщик RoBERTa и специальные механизмы для анализа связей между предложениями. Система умеет не только определять наличие предвзятости, но и классифицировать её типы. В тестах на датасетах БЕЙБЕ и БЭЗИЛЕ HierBias показал результаты выше существующих решений: прирост составил +2,6% по метрике F1 и +4,3% по MCC. Это поможет СМИ и медиаплатформам точнее выявлять и корректировать предвзятые материалы.