Один диагноз – разные мнения: в России разработан метод оценки медицинского ИИ
Ученые МГУ разработали методику, которая позволяет оценивать ответы медицинских нейросетей с учетом разногласий между врачами. Подход помогает точнее сравнивать языковые модели и экспертные заключения. Результаты исследования опубликованы в международном научном журнале Scientific Reports.
Постановка диагноза – это всегда сложная и ответственная задача. И не всегда однозначная. Один и тот же диагноз разные врачи могут описать разными словами. Один специалист использует медицинские термины, другой – их сокращенные варианты. А третий подробно расписывает симптомы заболевания. При этом все три заключения могут быть правильными и описывать одну и ту же патологию.
А вот для медицинского ИИ такая особенность становится проблемой. ИИ – не человек, у него нет врачебного опыта. Чтобы проверить качество работы нейросети, ее ответы обычно сравнивают с заключением специалиста, которое принимают за эталон. Но если другой врач сформулирует диагноз иначе, система может получить более низкую оценку, хотя по существу ее ответ тоже будет верным.
Исследователи Центра искусственного интеллекта МГУ совместно с коллегами из AIRI и Национального медицинского исследовательского центра имени Алмазова предложили учитывать эту особенность. Их методика позволяет сравнивать ответы нейросетей не с единственным заключением, а с мнениями нескольких врачей, и одновременно принимать во внимание степень согласия самих специалистов.
Как работает методика
Авторы разработали два относительных показателя. Они сопоставляют согласованность ответов языковой модели с заключениями врачей и между самими экспертами. Таким образом, качество работы нейросети оценивается с учетом того, насколько единодушны специалисты в конкретном медицинском случае.
Для сопоставления формулировок исследователи также создали отдельный алгоритм. Он помогает определить, какие диагностические предположения можно считать совпадающими по смыслу, даже если они записаны по-разному. При этом учитываются оценки языковых моделей, сведения Международной классификации болезней и текстовое сходство формулировок.
Это позволяет избежать ситуации, когда нейросеть получает низкую оценку только из-за отличий в терминологии. Например, врач может написать «острый гастрит», а нейросеть – «острое воспаление слизистой оболочки желудка». Формулировки отличаются, но речь идет об одном заболевании. Методика помогает распознать смысловое совпадение.
Метод проверили врачи
Методика была проверена на 360 русскоязычных диалогах. Часть разговоров разыгрывали медицинские специалисты, остальные представляли собой беседы актеров в роли пациентов. Каждый диалог независимо оценивали семь врачей-ординаторов. Затем их заключения сопоставили с диагностическими предположениями восьми языковых моделей.
Результаты показали, что несколько моделей в среднем согласовывались с экспертами не хуже, чем сами врачи между собой. Более того, разброс показателей согласованности между специалистами оказался выше, чем между большей частью проверенных нейросетей и врачами.
Для исследователей это важный результат, который показывает, что при оценке медицинского ИИ необходимо учитывать естественные различия в работе специалистов. Иначе тестирование может давать искаженное представление о возможностях технологии. При этом авторы подчеркивают, что совпадение ответов нейросети с мнением врачей еще не доказывает правильность диагноза. Она также не заменяет клинические испытания и врачебную проверку.
Что это даст медицине?
Новая методика может пригодиться при разработке и сравнении систем поддержки врачебных решений. Такие решения помогают медикам анализировать информацию о пациенте, сопоставлять симптомы и формулировать возможные диагнозы. Но, прежде чем использовать их в реальной практике, необходимо понимать, насколько надежно они работают.
Более объективная оценка позволит разработчикам выявлять сильные и слабые стороны моделей, сравнивать разные решения и совершенствовать алгоритмы. Для медицинских организаций это означает возможность получать более понятные результаты испытаний программных систем.
У исследования есть и международный потенциал. Медицинские языковые модели разрабатываются и тестируются во многих странах, а проблема различий между заключениями врачей не ограничивается одной системой здравоохранения или языком. Поэтому подход, позволяющий учитывать разногласия экспертов, может быть интересен зарубежным разработчикам медицинского программного обеспечения и исследовательским центрам.
