Искусственный интеллект уже помогает врачам выявлять закономерности на диагностических изображениях и признаки болезней. Однако большинство современных систем ИИ в патологии заточены под одну задачу — для нового применения их приходится перестраивать.
Исследователи из Microsoft Research и Paige (сейчас часть Tempus) разработали модель PRISM2. Это фундаментальная модель для патологии, которая обучена на изображениях тканей и языковых данных из реальных отчётов патологоанатомов. Цель — научить ИИ работать с большим объёмом текстовых данных и создать систему, которая будет поддерживать будущие исследования и разработки в области патологии.
В ходе тестирования модель соответствовала или превосходила по эффективности специализированные системы обнаружения рака в ряде бенчмарк-задач: выявление рака простаты, рака груди и метастазов в лимфатических узлах груди. При этом не требовалось создавать отдельную модель для каждой задачи.
Суть PRISM2 в том, что патология — это не только визуальная, но и языковая дисциплина. Для обучения модели исследователи сопоставили патологические изображения с данными из отчётов, создав миллионы примеров «вопрос-ответ». Это помогло связать визуальные находки с диагностическим языком. В итоге модель может работать как только с изображениями, так и с изображениями и текстом одновременно. Пользователи могут взаимодействовать с ней через подсказки, а не полагаться исключительно на ПО, заточенное под конкретную задачу.
Веса модели PRISM2 открыты для исследовательского использования — их можно найти на Hugging Face here и here.
recently published in Nature Medicine
Подписаться в Макс
