Die Doktorandin Marta Arbizu Gómez untersucht, wie AMIE, die multimodale KI von Google DeepMind, die ärztliche Konsultation und die Zukunft der Telemedizin verändert.
Eine Studie in Nature Medicine (2026) zeigt, dass AMIE, die multimodale KI von Google DeepMind, Ärzte der Primärversorgung bei der diagnostischen Genauigkeit in simulierten Konsultationen übertrifft. Dank ihres dynamischen, zustandsbewussten Schlussfolgerns (state-aware) integriert sie Gespräche, Bilder und klinische Dokumente und setzt damit einen wichtigen Maßstab für die fortgeschrittene Telemedizin.
Telemedizin ist nicht mehr nur Text: Die Herausforderung, Bilder und klinische Dokumente zu integrieren
Die medizinische Versorgung aus der Ferne hat sich in den vergangenen Jahren grundlegend verändert. Heute senden viele Patienten während einer Online-Konsultation Fotos von Hautläsionen, Elektrokardiogramme (EKG), Laborberichte oder klinische Dokumente direkt vom Mobiltelefon.
Die meisten Systeme der künstlichen Intelligenz (KI) im Gesundheitswesen funktionieren jedoch weiterhin hauptsächlich textbasiert. Das stellt eine wichtige Einschränkung dar: In der klinischen Praxis verbinden Ärzte fortlaufend das Gespräch mit visuellen Informationen und Dokumenten, um diagnostische Entscheidungen zu treffen.
Eine 2026 in Nature Medicine veröffentlichte Studie stellt eine neue multimodale Version von AMIE (Articulate Medical Intelligence Explorer) vor, ein von Google DeepMind entwickeltes System, das Folgendes kann:
- klinische Gespräche führen,
- relevante Bilder oder Dokumente anfordern,
- diese multimodalen Informationen interpretieren,
- und während der Konsultation dynamisch diagnostisch schlussfolgern.
Ziel der Arbeit war es, zu untersuchen, ob diese KI komplexe telemedizinische Konsultationen bewältigen kann, und sie direkt mit Ärzten der Primärversorgung zu vergleichen.
Wie funktioniert das multimodale AMIE-System?
Die wichtigste Innovation des Systems ist ein Mechanismus namens „state-aware reasoning“ („zustandsbewusstes Schlussfolgern“).
Statt einfach Frage für Frage zu beantworten, strukturiert AMIE die Konsultation in verschiedene Phasen und ahmt damit das übliche klinische Schlussfolgern nach:
- Anamnese und Krankengeschichte: Das System erfasst Symptome, Vorerkrankungen und mögliche Risikofaktoren.
- Anforderung und Interpretation multimodaler Informationen: Wenn es weitere Informationen benötigt, kann es dermatologische Fotos, EKGs oder klinische Dokumente anfordern.
- Dynamische Erstellung diagnostischer Hypothesen: Die KI aktualisiert ihre möglichen Diagnosen kontinuierlich auf Grundlage der neu eingegangenen Informationen.
- Diagnostischer und therapeutischer Plan: Abschließend erstellt sie Empfehlungen und beantwortet die Fragen des Patienten.
Dieser Ansatz soll das schrittweise Schlussfolgern nachbilden, dem Ärzte während einer realen Konsultation folgen.
Wie wurde diese Studie zu KI und Gesundheit durchgeführt?
Um die Leistungsfähigkeit des Systems zu bewerten, führten die Forschenden eine OSCE-Studie (Objective Structured Clinical Examination) durch, eine verbreitete Methode zur Bewertung medizinischer klinischer Kompetenzen.
Teilgenommen haben:
- 19 Ärzte der Primärversorgung,
- 25 geschulte Laiendarsteller als Patienten,
- und 18 unabhängige Fachgutachter.
Es wurden 105 simulierte klinische Szenarien entwickelt, darunter:
- dermatologische Fotografien,
- EKG-Aufzeichnungen,
- klinische Dokumente,
- und klinische Gespräche über einen multimodalen Chat.
Jeder Laiendarsteller führte zwei Konsultationen durch:
- eine mit einem menschlichen Arzt
- und eine mit der multimodalen AMIE,
alles in zufälliger Reihenfolge und mit verblindeter Bewertung durch Fachärzte.
Was zeigten die Ergebnisse der Studie?
Die Ergebnisse waren besonders bemerkenswert.
Höhere diagnostische Genauigkeit
AMIE erzielte eine höhere diagnostische Genauigkeit als die Ärzte der Primärversorgung auf den verschiedenen untersuchten Ebenen der Differenzialdiagnostik.
Außerdem waren ihre Diagnoselisten:
- vollständiger,
- konsistenter
- und enthielten weniger relevante Auslassungen.
Bessere Interpretation von Bildern und Dokumenten
Eine der wichtigsten Erkenntnisse war die Fähigkeit des Systems, visuelle Informationen korrekt in das klinische Gespräch zu integrieren.
Die Fachgutachter bewerteten AMIE besser bei:
- der Bildinterpretation,
- dem auf visuellen Befunden basierenden Schlussfolgern,
- der Erläuterung der Befunde gegenüber dem Patienten,
- und dem Beantworten von Fragen zu medizinischen Bildern.
Bemerkenswerterweise empfanden die Laiendarsteller, dass die KI Bilder besser erklärte als viele menschliche Ärzte, wahrscheinlich weil sie ausdrücklich formulierte, was sie beobachtete und wie dies die Diagnose beeinflusste.
Das klinische Gespräch bleibt entscheidend
Die Studie zeigte außerdem etwas sehr Relevantes: Die Analyse isolierter Bilder war nicht ausreichend. Wenn das System nur Bilder sah, ohne ein klinisches Gespräch zu führen, nahm die diagnostische Genauigkeit deutlich ab.
Das bestätigt einen grundlegenden Gedanken: Der klinische Kontext und die Anamnese bleiben auch im Zeitalter der multimodalen KI unverzichtbar.
Die Kombination aus:
- klinischem Dialog,
- strukturiertem Schlussfolgern
- und visueller Interpretation
ermöglichte die besten Ergebnisse.
Melden Sie sich
für unseren
Newsletter an
Kann eine KI empathisch sein?
Neben der diagnostischen Genauigkeit bewerteten die Forschenden kommunikative und emotionale Aspekte.
Die Patienten bewerteten AMIE in folgenden Bereichen gleich gut oder besser als die Ärzte:
- Empathie,
- aktives Zuhören,
- Verständlichkeit der Erklärungen,
- Umgang mit Sorgen
- und vermitteltes Vertrauen.
Auch wenn dies nicht bedeutet, dass die KI die Arzt-Patienten-Beziehung ersetzt, zeigt es doch das Potenzial fortschrittlicher Konversationssysteme, die Erfahrung in der Telemedizin zu verbessern.
Welche Einschränkungen hat die Studie zum multimodalen Fortschritt von AMIE in der Telemedizin?
Die Autoren nennen mehrere wichtige Einschränkungen:
- Es handelt sich noch nicht um eine echte klinische Studie.
- Alle Konsultationen waren simuliert.
- Die Interaktion erfolgte über einen schriftlichen Chat, nicht per Videoanruf.
- Das System ist weiterhin experimentell und noch nicht für den autonomen klinischen Einsatz geeignet.
Darüber hinaus erkennen die Forschenden an, dass noch validiert werden muss:
- die Sicherheit,
- die Robustheit
- und die Fairness des Systems
in realen Populationen und unterschiedlichen Versorgungskontexten.
Welche Bedeutung hat dies für die Zukunft der Telemedizin?
Diese Arbeit stellt einen der ersten Schritte hin zu KI-Systemen dar, die klinische Gespräche und multimodales Schlussfolgern in Echtzeit integrieren können.
Technologien wie diese könnten in Zukunft:
- die klinische Triage beschleunigen,
- Fernkonsultationen unterstützen,
- den Zugang zur Gesundheitsversorgung in Regionen mit wenigen Fachkräften verbessern
- und dabei helfen, Patienten nach dem Schweregrad zu priorisieren.
Die Autoren betonen jedoch, dass es nicht darum geht, den Arzt zu ersetzen, sondern Unterstützungsinstrumente zu entwickeln, die die klinische Praxis ergänzen können.
Wie steht dieser Fortschritt mit NeuronUP in Zusammenhang?
Bei NeuronUP entwickeln sich Technologie und kognitive Gesundheit parallel hin zu immer stärker personalisierten und digitalen Modellen.
Die Integration multimodaler KI-Tools könnte Folgendes erleichtern:
- eine schnellere und leichter zugängliche klinische Untersuchung,
- eine bessere Erkennung kognitiver und neurologischer Symptome
- und eine kontinuierlichere Verlaufskontrolle in entfernten Versorgungskontexten.
Darüber hinaus eröffnet die Verbindung von KI-gestützter Diagnostik, digitalen Biomarkern und personalisierten Programmen zur kognitiven Rehabilitation den Weg zu ganzheitlicheren und anpassungsfähigeren Versorgungsmodellen.
Fazit
Das neue multimodale AMIE-System zeigt, dass konversationelle künstliche Intelligenz über Text hinausgehen und Bilder sowie klinische Dokumente in simulierte ärztliche Konsultationen integrieren kann.
In dieser Studie erzielte die KI bei diagnostischer Genauigkeit, multimodaler Interpretation und kommunikativer Qualität vergleichbare oder bessere Ergebnisse als Ärzte der Primärversorgung.
Obwohl bis zur tatsächlichen klinischen Implementierung noch ein weiter Weg zurückzulegen ist, zeigen diese Ergebnisse das enorme Potenzial multimodaler KI, die Telemedizin zu verändern und Gesundheitsfachkräfte künftig zu unterstützen.
Literaturverzeichnis
- Saab K, Park C, Strother T, Freyberg J, Barrett DGT, Cheng Y, Weng WH, Stutz D, Tomasev N, Palepu A, et al. Advancing conversational diagnostic AI with multimodal reasoning. Nature Medicine. 2026. doi:10.1038/s41591-026-04371-0.
Häufig gestellte Fragen zu KI in der Telemedizin
1. Was ist das AMIE-System von Google DeepMind?
AMIE (Articulate Medical Intelligence Explorer) ist ein von Google DeepMind entwickeltes konversationelles und multimodales System für klinische Konsultationen. Anders als herkömmliche Chatbots sammelt es Informationen im Dialog, fordert medizinische Bilder oder Dokumente an, interpretiert sie und erstellt adaptive Differenzialdiagnosen.
2. Wie genau ist die KI bei der medizinischen Beurteilung im Vergleich zu Fachkräften?
In einer 2026 in Nature Medicine veröffentlichten klinischen Simulationsstudie übertraf AMIE Ärzte der Primärversorgung bei diagnostischer Genauigkeit und Vollständigkeit der erstellten Hypothesen. Außerdem erhielt das System von Patienten bessere Bewertungen in Bereichen wie Verständlichkeit der Erklärungen und wahrgenommener Empathie.
3. Was bedeutet state-aware reasoning in der medizinischen KI?
State-aware reasoning (zustandsbewusstes Schlussfolgern) bezeichnet die Fähigkeit der KI, eine Konsultation in logische und miteinander verknüpfte Phasen zu strukturieren: Anamnese, visuelle Analyse von Untersuchungen, Formulierung von Hypothesen und Empfehlungen. Dadurch kann sie ihre Schlussfolgerungen bei Eingang neuer Informationen aktualisieren und die Logik des medizinischen Personals nachahmen.
4. Wie wird multimodale KI bei der kognitiven Diagnostik und Rehabilitation eingesetzt?
Multimodale Technologie ermöglicht die gleichzeitige Integration des Patientendialogs, der Ergebnisse neuropsychologischer Tests und grafischer Dokumente. Im neuropsychologischen Bereich erleichtert diese Fähigkeit ein schnelleres Screening kognitiver Symptome, die Erkennung digitaler Biomarker und die Entwicklung personalisierter Trainingspläne.
5. Wird konversationelle KI die Gesundheitsfachkräfte ersetzen?
Nein. Die Forschenden selbst betonen, dass Systeme wie AMIE als Unterstützungsinstrumente gedacht sind, um das Screening zu optimieren, die Versorgung zu priorisieren und den Verwaltungsaufwand zu verringern. Das Tool befindet sich weiterhin in der experimentellen Phase und muss in realen klinischen Studien validiert werden.
Medical Expo Guadalajara 2026: die wegweisende Veranstaltung für Innovation im Gesundheitswesen in Mexiko
Schreiben Sie einen Kommentar