Может ли ИИ интерпретировать медицинские изображения и общаться как врач? Мультимодальный прорыв AMIE в телемедицине

Докторантка Марта Арбису Гомес рассказывает, как AMIE, мультимодальный ИИ Google DeepMind, меняет врачебную консультацию и будущее телемедицины.

Телемедицина — это уже не только текст: задача интеграции изображений и клинических документов

Дистанционная медицинская помощь радикально изменилась за последние годы. Сегодня многие пациенты отправляют фотографии кожных поражений, электрокардиограммы (ЭКГ), результаты анализов или клинические документы прямо с телефона во время онлайн-консультации.

Однако большинство систем искусственного интеллекта (ИИ) в здравоохранении по-прежнему работают главным образом с текстом. Это серьёзное ограничение: в реальной клинической практике врачи постоянно сочетают беседу со зрительной и документальной информацией для принятия диагностических решений.

Исследование, опубликованное в Nature Medicine в 2026 году, представляет новую мультимодальную версию AMIE (Articulate Medical Intelligence Explorer) — системы, разработанной Google DeepMind и способной:

• вести клинические беседы,
• запрашивать нужные изображения или документы,
• интерпретировать эту мультимодальную информацию,
• и динамически выстраивать диагностическое рассуждение в ходе консультации.

Цель работы — оценить, способен ли этот ИИ справляться со сложными консультациями в телемедицине, сравнив его напрямую с врачами первичного звена.

Как работает мультимодальная система AMIE?

Главная инновация системы — механизм под названием «state-aware reasoning» («рассуждение с учётом клинического состояния»).

Вместо того чтобы просто отвечать на вопрос за вопросом, AMIE структурирует консультацию по этапам, имитируя привычное клиническое рассуждение:

1. Анамнез и история болезни: система собирает сведения о симптомах, перенесённых заболеваниях и возможных факторах риска.
2. Запрос и интерпретация мультимодальной информации: если система считает, что ей нужно больше данных, она может запросить дерматологические фотографии, ЭКГ или клинические документы.
3. Динамическое формирование диагностических гипотез: ИИ постоянно обновляет возможные диагнозы с учётом новой полученной информации.
4. План диагностики и лечения: наконец, система формирует рекомендации и отвечает на вопросы пациента.

Этот подход направлен на то, чтобы воспроизвести последовательное рассуждение, которому следуют врачи во время реальной консультации.

Как проводилось это исследование об ИИ и здоровье?

Чтобы оценить работу системы, исследователи провели исследование в формате OSCE (Objective Structured Clinical Examination — объективный структурированный клинический экзамен), широко применяемом для оценки клинических компетенций врачей.

В нём участвовали:

• 19 врачей первичного звена, 
• 25 обученных пациентов-актёров, 
• и 18 независимых специалистов-экспертов.

Было разработано 105 смоделированных клинических сценариев, включавших:

• дерматологические фотографии,
• записи ЭКГ,
• клинические документы,
• и клинические беседы в мультимодальном чате.

Каждый пациент-актёр провёл две консультации:

• одну с врачом-человеком,
• и другую с мультимодальной AMIE,

всё в случайном порядке и со слепой оценкой специалистами.

Что показали результаты исследования?

Результаты оказались особенно впечатляющими.

Более высокая точность диагностики

AMIE показала более высокую точность диагностики, чем врачи первичного звена, на всех оценённых уровнях дифференциальной диагностики.

Кроме того, её диагностические списки были:

• более полными,
• более последовательными,
• и содержали меньше существенных пропусков.

Лучшая интерпретация изображений и документов

Одним из важнейших результатов стала способность системы правильно интегрировать визуальную информацию в клиническую беседу.

Специалисты оценили AMIE выше по следующим аспектам:

• интерпретация изображений,
• рассуждение на основе визуальных материалов,
• объяснение находок пациенту,
• и ответы на вопросы, связанные с медицинскими изображениями.

Любопытно, что пациенты-актёры сочли, что ИИ объяснял изображения лучше, чем многие врачи-люди, вероятно, потому что явно проговаривал, что он видит и как это влияет на диагноз.

Клиническая беседа по-прежнему необходима

Исследование также продемонстрировало очень важную вещь: анализа отдельных изображений было недостаточно. Когда система видела только изображения без клинической беседы, точность диагностики явно снижалась.

Это подкрепляет фундаментальную идею: клинический контекст и анамнез остаются необходимыми даже в эпоху мультимодального ИИ.

Именно сочетание:

• клинического диалога,
• структурированного рассуждения
• и визуальной интерпретации

позволило добиться наилучших результатов.

Может ли ИИ быть эмпатичным?

Помимо точности диагностики исследователи оценивали коммуникативные и эмоциональные аспекты.

Пациенты оценили AMIE так же или выше, чем врачей, по таким аспектам, как:

• эмпатия,
• активное слушание,
• ясность объяснений,
• работа с опасениями,
• и внушаемое доверие.

Хотя это не означает, что ИИ заменит отношения между врачом и пациентом, это показывает потенциал продвинутых диалоговых систем для улучшения опыта телемедицины.

Каковы ограничения исследования мультимодального прорыва AMIE в телемедицине?

Авторы отмечают ряд важных ограничений:

• Это пока не реальное клиническое испытание.
• Все консультации были смоделированы.
• Взаимодействие проходило в письменном чате, а не по видеосвязи.
• Система остаётся экспериментальной и не готова к самостоятельному клиническому использованию.

Кроме того, исследователи признают, что ещё необходимо подтвердить:

• безопасность,
• надёжность
• и справедливость системы

на реальных группах населения и в разнообразных медицинских условиях.

Что это означает для будущего телемедицины?

Эта работа — один из первых шагов к системам ИИ, способным объединять клиническую беседу и мультимодальное рассуждение в реальном времени.

В будущем подобные технологии могли бы:

• ускорить клинический скрининг,
• поддерживать дистанционные консультации,
• улучшить доступ к медицинской помощи в районах с нехваткой специалистов,
• и помогать распределять пациентов по степени тяжести.

Тем не менее авторы настаивают, что цель не в том, чтобы заменить врача, а в разработке вспомогательных инструментов, дополняющих клиническую практику.

Как этот прорыв связан с NeuronUP?

В NeuronUP технологии и когнитивное здоровье развиваются параллельно в направлении всё более персонализированных и цифровых моделей.

Интеграция инструментов мультимодального ИИ могла бы облегчить:

• более быструю и доступную клиническую оценку,
• более точное выявление когнитивных и неврологических симптомов,
• и более непрерывное наблюдение в дистанционном формате.

Кроме того, сочетание диагностики с помощью ИИ, цифровых биомаркеров и персонализированных программ когнитивной реабилитации открывает путь к более комплексным и адаптивным моделям помощи.

Заключение

Новая мультимодальная система AMIE показывает, что диалоговый искусственный интеллект может выйти за рамки текста, интегрируя изображения и клинические документы в смоделированные врачебные консультации.

В этом исследовании ИИ показал результаты, сопоставимые с результатами врачей первичного звена или превосходящие их, по точности диагностики, мультимодальной интерпретации и качеству коммуникации.

Хотя до реального клинического внедрения ещё далеко, эти результаты показывают огромный потенциал мультимодального ИИ для преобразования телемедицины и поддержки медицинских работников в будущем.

Библиография

• Saab K, Park C, Strother T, Freyberg J, Barrett DGT, Cheng Y, Weng WH, Stutz D, Tomasev N, Palepu A, et al. Advancing conversational diagnostic AI with multimodal reasoning. Nature Medicine. 2026. doi:10.1038/s41591-026-04371-0.

Если вам понравилась эта статья о мультимодальном прорыве AMIE в телемедицине, вас наверняка заинтересуют эти статьи NeuronUP: