Может ли ИИ интерпретировать медицинские изображения и общаться как врач? Мультимодальный прорыв AMIE в телемедицине

Аспирантка Марта Арбису Гомес рассказывает о том, как мультимодальный ИИ AMIE от Google DeepMind меняет медицинскую консультацию и будущее телемедицины.

Телемедицина — это уже не только текст: задача интеграции изображений и клинических документов

Дистанционная медицинская помощь радикально изменилась за последние годы. Сегодня многие пациенты отправляют фотографии кожных поражений, электрокардиограммы (ЭКГ), результаты анализов или клинические документы непосредственно с мобильного телефона во время онлайн-консультации.

Однако большинство систем искусственного интеллекта (ИИ), применяемых в здравоохранении, по-прежнему работают преимущественно с текстом. Это существенно ограничивает их возможности: в реальной клинической практике врачи постоянно объединяют диалог с визуальной и документальной информацией для принятия диагностических решений.

В исследовании, опубликованном в Nature Medicine в 2026 году, представлена новая мультимодальная версия AMIE (Articulate Medical Intelligence Explorer) — системы, разработанной Google DeepMind и способной:

• вести клинический диалог,
• запрашивать необходимые изображения или документы,
• интерпретировать эту мультимодальную информацию,
• и динамически рассуждать с диагностической целью во время консультации.

Целью работы было оценить, может ли этот ИИ эффективно работать на сложных консультациях телемедицины, напрямую сравнив его с врачами первичного звена.

Как работает мультимодальная система AMIE?

Главная инновация системы — механизм, получивший название «state-aware reasoning» («рассуждение с учётом клинического состояния»).

Вместо того чтобы просто отвечать на вопросы по очереди, AMIE структурирует консультацию по различным этапам, имитируя привычное клиническое рассуждение:

1. Сбор анамнеза и истории болезни: система собирает сведения о симптомах, анамнезе и возможных факторах риска.
2. Запрос и интерпретация мультимодальной информации: если системе требуется больше данных, она может запросить дерматологические фотографии, ЭКГ или клинические документы.
3. Динамическое формирование диагностических гипотез: ИИ непрерывно обновляет возможные диагнозы с учётом новой полученной информации.
4. Диагностический и терапевтический план: наконец, система формирует рекомендации и отвечает на вопросы пациента.

Этот подход призван воспроизвести последовательное рассуждение, которому следуют врачи во время реальной консультации.

Как проводилось это исследование ИИ и здравоохранения?

Чтобы оценить эффективность системы, исследователи провели исследование в формате OSCE (Objective Structured Clinical Examination) — широко используемой методики оценки клинических компетенций врачей.

В исследовании участвовали:

• 19 врачей первичного звена, 
• 25 обученных пациентов-актёров, 
• и 18 независимых врачей-экспертов, проводивших оценку.

Было разработано 105 смоделированных клинических сценариев, включавших:

• дерматологические фотографии,
• ЭКГ-трассы,
• клинические документы,
• и клинические диалоги в мультимодальном чате.

Каждый пациент-актёр прошёл две консультации:

• одну с врачом-человеком,
• и другую с мультимодальной системой AMIE,

в случайном порядке, при этом специалисты проводили слепую оценку.

Что показали результаты исследования?

Результаты оказались особенно впечатляющими.

Более высокая диагностическая точность

AMIE продемонстрировала более высокую диагностическую точность, чем врачи первичного звена, на различных оценивавшихся уровнях дифференциальной диагностики.

Кроме того, её диагностические перечни были:

• более полными,
• более последовательными,
• и содержали меньше значимых пропусков.

Лучшая интерпретация изображений и документов

Одним из наиболее важных результатов стала способность системы корректно интегрировать визуальную информацию в клинический диалог.

Эксперты выше оценили AMIE по следующим параметрам:

• интерпретация изображений,
• рассуждение на основе визуальных признаков,
• объяснение результатов пациенту,
• и ответы на вопросы, связанные с медицинскими изображениями.

Примечательно, что пациенты-актёры считали, что ИИ объяснял изображения лучше многих врачей-людей, вероятно, потому что явно проговаривал, что именно он наблюдает и как это влияет на диагноз.

Клинический диалог по-прежнему необходим

Исследование также продемонстрировало нечто очень важное: анализа отдельных изображений было недостаточно. Когда система видела только изображения и не поддерживала клинический диалог, диагностическая точность заметно снижалась.

Это подтверждает фундаментальную идею: клинический контекст и сбор анамнеза остаются необходимыми даже в эпоху мультимодального ИИ.

Именно сочетание:

• клинического диалога,
• структурированного рассуждения,
• и визуальной интерпретации

позволило достичь наилучших результатов.

Может ли ИИ быть эмпатичным?

Помимо диагностической точности, исследователи оценили коммуникативные и эмоциональные аспекты.

Пациенты оценили AMIE не ниже, а в некоторых случаях выше врачей по таким параметрам, как:

• эмпатия,
• активное слушание,
• понятность объяснений,
• работа с тревогами,
• и вызываемое доверие.

Хотя это не означает, что ИИ заменит отношения между врачом и пациентом, это демонстрирует потенциал современных разговорных систем для улучшения опыта телемедицины.

Каковы ограничения исследования мультимодального прорыва AMIE в телемедицине?

Авторы отмечают несколько важных ограничений:

• Это пока не настоящее клиническое испытание.
• Все консультации были смоделированы.
• Взаимодействие проходило в письменном чате, а не по видеосвязи.
• Система остаётся экспериментальной и не готова к автономному клиническому применению.

Кроме того, исследователи признают, что ещё необходимо проверить:

• безопасность,
• надёжность,
• и справедливость системы

на реальных пациентах и в различных медицинских учреждениях.

Каковы последствия для будущего телемедицины?

Эта работа представляет собой один из первых шагов к созданию ИИ-систем, способных в режиме реального времени объединять клинический диалог и мультимодальное рассуждение.

В будущем подобные технологии могут:

• ускорить клинический скрининг,
• поддерживать дистанционные консультации,
• улучшить доступ к медицинской помощи в регионах с нехваткой специалистов,
• и помогать распределять пациентов по приоритету в зависимости от тяжести состояния.

Однако авторы подчёркивают, что цель состоит не в замене врача, а в разработке вспомогательных инструментов, способных дополнять клиническую практику.

Как этот прорыв связан с NeuronUP?

В NeuronUP технологии и когнитивное здоровье параллельно развиваются в направлении всё более персонализированных и цифровых моделей.

Интеграция мультимодальных инструментов ИИ может способствовать:

• более быстрой и доступной клинической оценке,
• более эффективному выявлению когнитивных и неврологических симптомов,
• и непрерывному наблюдению в дистанционных условиях.

Кроме того, сочетание диагностики с поддержкой ИИ, цифровых биомаркеров и персонализированных программ когнитивной реабилитации открывает путь к более комплексным и адаптивным моделям помощи.

Заключение

Новая мультимодальная система AMIE демонстрирует, что разговорный искусственный интеллект может выйти за пределы текста, интегрируя изображения и клинические документы в смоделированные медицинские консультации.

В этом исследовании ИИ достиг результатов, сопоставимых с результатами врачей первичного звена или превосходящих их, по диагностической точности, мультимодальной интерпретации и качеству коммуникации.

Хотя до реального клинического внедрения ещё далеко, эти результаты демонстрируют огромный потенциал мультимодального ИИ для преобразования телемедицины и поддержки медицинских специалистов в будущем.

Библиография

• Saab K, Park C, Strother T, Freyberg J, Barrett DGT, Cheng Y, Weng WH, Stutz D, Tomasev N, Palepu A, et al. Advancing conversational diagnostic AI with multimodal reasoning. Nature Medicine. 2026. doi:10.1038/s41591-026-04371-0.

Если вам понравилась эта статья о мультимодальном прорыве AMIE в телемедицине, вас наверняка заинтересуют следующие статьи NeuronUP: