Борьба со стереотипами в ИИ: неожиданный побочный эффект

Исследователи обнаружили, что методы борьбы со стереотипами в обработке естественного языка (NLP) могут давать непредвиденные результаты. Например, очистка данных от стереотипных фраз или изменение упоминаний групп людей иногда приводит к усилению стереотипизации или контрстереотипизации для других групп. Эффект наблюдается у разных семейств моделей (encoder-only и decoder-only) и при различных стратегиях предварительной обработки данных (например, удалении стереотипных предложений, упоминаний групп или замене упоминаний групп). Учёные также выяснили, что такие побочные эффекты не всегда сопровождаются заметными изменениями в механизме внимания модели, из‑за чего их сложно объяснить. Авторы предлагают более прозрачные и учитывающие побочные эффекты подходы к устранению стереотипов.