Использование алгоритма глубокого обучения, «настроенного» на выявление опухолей головного мозга и определение их типа, позволило улучшить точность работы врачей-рентгенологов на 12 процентов и усилить чувствительность на 17,6 процентов. Точность же классификации опухолей составила 73,3 процента по сравнению с точностью в 60,9 процентов, которая наблюдалась у нейрорадиологов без помощи алгоритма. Статья с подробным анализом работы нейронной сети, разработанной китайскими исследователями, опубликована в журнале JAMA Network Open.
Ежемесячно в научных журналах появляется множество статей с описаниями новых алгоритмов ИИ, но лишь немногие из них доводятся до валидации в клинической практике, то есть до сравнения с работой врачей-рентгенологов на потоке и глубокого анализа этих данных. Хотя это наиболее важная часть. Если говорить о России, то интересный кейс сопоставления точности диагностики ИИ с работой рентгенологов в виде «ИИ-баттла» имел место на Итоговой конференции московского отделения Российского общества рентгенологов и радиологов в 2019 году. А с 2020 года на базе московского Центра диагностики и телемедицины проводится масштабный эксперимент по внедрению ИИ в практику рентгенологов, в котором участвуют все государственные медицинские учреждения города. Однако ИИ в нейровизуализации там представлен пока что недостаточно.
Если же говорить о мировой практике, то использование алгоритмов машинного обучения, в том числе нейронных сетей, в нейровизуализации – это на сегодняшний день одна из самых популярных задач в сфере медицинского искусственного интеллекта (ИИ). Причем, алгоритмы используются не только для диагностики заболеваний по изображениям, но и в научных целых: для выявления эпилепсии на ЭЭГ, для анализа действия психотропных веществ, обнаружения деменции на ПЭТ, улучшения постобработки специфических методов МРТ типа трактографии и так далее. Тем не менее пока наибольшее приложение все-таки имеют алгоритмы, созданные для помощи врачам-рентгенологам.
Китайские исследователи разработали и клинически апробировали алгоритм ИИ, который предназначен для диагностики опухолей головного мозга на магнитно-резонансной томографии (МРТ). Причем, его обучили еще и классифицировать 18 типов внутричерепных опухолей. Это та задача, с которой врач-рентгенолог в силу ограничений метода не может справиться идеально точно (не имея дополнительных данных).
Обучающий набор данных включил МРТ исследования головного мозга (T1- и T2-взвешенные изображения, а также T1 с контрастом в аксиальных проекциях) 37 871 пациента, собранные в период с 2000 по 2019 год. На основе этого набора разработанную систему ИИ обучили сегментации и классификации 18 типов внутричерепных опухолей. Затем систему протестировали с использованием одного внутреннего и трех внешних независимых наборов данных – точность его работы составила 92%.
Клиническую ценность системы оценили с помощью сравнения точности диагностики опухолей нейрорадиологами, которые не пользовались алгоритмом, с работой врачей, применивших ИИ. Для этого составили отдельный набор данных, куда вошли МРТ исследования, собранные с марта 2019 года по февраль 2020 года. В эксперименте участвовали специалисты с опытом работы в нейрорадиологии от 9 до 30 лет.
Нейрорадиологи с применением ИИ работали на 12% точнее, чем их коллеги, не применявшие алгоритм (73,3% против 60,9%), причем чувствительность (то есть способность находить патологию) составила 88,9% против 53,4%. Специфичность (то есть способность не находить патологию при ее отсутствии) у них при этом сильно не отличалась – 96,3% против 97,9%.
Исследователи провели и клиническую валидацию с оценкой работы врачей на потоке. С помощью системы глубокого обучения средняя точность нейрорадиологов при анализе МРТ 1166 пациентов увеличилась на 12,0%, с 63,5% без помощи до 75,5% с использованием ИИ.
Авторы исследования также рассмотрели в своем анализе подмножества конфликтов и соглашений. В конфликтной подгруппе из 332 диагнозов исследователи обнаружили, что система глубокого обучения оказалась права в 219 случаях (66%) по сравнению с 113 правильными диагнозами (34%), поставленными нейрорадиологами без помощи ИИ.
«Результаты показывают, что система глубокого обучения может быть способна достичь точности, сравнимой или даже превышающей точность опытных нейрорадиологов в диагностике опухолей головного мозга. Кроме того, система также может ставить диагнозы быстрее, чем оценщики», — говорят авторы.
Тем не менее они сообщают и об ограничениях своего исследования. Так, например, данные для обучения системы получены из одного медицинского учреждения. Также стоит учесть потенциальную статистическую погрешность из-за меньшего числа редких опухолей в обучающем наборе МРТ исследований. Кроме того, авторы отмечают, что использовались МРТ последовательности только в аксиальной проекции, и предполагают, что добавление других проекций, а также клинической информации может еще больше повысить производительность системы ИИ.
Текст: Анна Хоружая
Development and Validation of a Deep Learning Model for Brain Tumor Diagnosis and Classification Using Magnetic Resonance Imaging by Peiyi Gao, et al in JAMA Network Open. Published August 2022.
doi:10.1001/jamanetworkopen.2022.25608
