Новый способ оценить объяснения работы нейросетей: прорыв в компьютерном зрении

Авторы исследования предложили новый подход к оценке методов объяснимого ИИ (XAI) для сверточных нейронных сетей (CNN). Суть в том, что они разработали специальные метрики, ориентированные на реальные условия использования — когда количество классов для классификации невелико. Для проверки точности XAI-методов авторы генерируют особые «возмущения», создающие неопределённость в данных. Подход протестировали в медицинских и других визуальных приложениях — он показал, как выбор методов XAI зависит от сферы применения и обработки данных. Это поможет разработчикам точнее проверять правильность обучения моделей и избегать предвзятости.