Deep-Learning-Modell zur Früherkennung kognitiver Beeinträchtigungen anhand klinischer Notizen in elektronischen Patientenakten

Antonio Javier Sutil Jiménez spricht in diesem Artikel über die im Rahmen der Studie „Deep-Learning-Modell zur Früherkennung kognitiver Beeinträchtigungen anhand klinischer Notizen in elektronischen Patientenakten“ gewonnenen Daten.

Warum ist diese Studie zu einem Lernmodell auf Grundlage klinischer Notizen wichtig?

Diese Studie befasst sich mit der Früherkennung kognitiver Beeinträchtigungen bei Erwachsenen. Dies ist von entscheidender Bedeutung, um erfolgreiche therapeutische Interventionen durchführen, den Abbau verlangsamen, die Entwicklung von Erkrankungen verhindern oder die Aufnahme von Teilnehmenden in klinische Studien erleichtern zu können.

Alzheimer-Krankheit

Die Alzheimer-Krankheit ist eine Form der Demenz, die weltweit ein großes Problem darstellt. Bei fast 6 Millionen Menschen in den Vereinigten Staaten wurde diese Erkrankung diagnostiziert. Ihre Prävalenz steigt mit zunehmendem Alter, weshalb davon auszugehen ist, dass die Alterung der Bevölkerung auch zu einem Anstieg ihrer Inzidenz in den kommenden Jahren führen wird.

Über die Alzheimer-Krankheit hinaus stellt jedoch auch die leichte kognitive Beeinträchtigung ein äußerst relevantes Problem dar, das in vielen Fällen mit der späteren Entwicklung einer Demenz verbunden ist.

Subjektive kognitive Beeinträchtigung

Ebenso wurde kürzlich die Kategorie der subjektiven kognitiven Beeinträchtigung geschaffen. Dieser Begriff bezeichnet die Wahrnehmung einer Person, dass ihre kognitiven Fähigkeiten im Vergleich zu ihrem früheren Zustand abgenommen haben.

Obwohl diese Bezeichnung keine eigenständige Erkrankung darstellt, wurde festgestellt, dass sich Menschen mit dieser Ausprägung möglicherweise in einer frühen Phase einer kognitiven Beeinträchtigung befinden.

Erkennung kognitiver Beeinträchtigungen

Obwohl große Anstrengungen unternommen werden, um die Behandlung dieser Patientinnen und Patienten zu verbessern, bleibt die Erkennung kognitiver Beeinträchtigungen eine Herausforderung. Eine Verbesserung der Erkennungsinstrumente ist notwendig, damit die anschließenden Behandlungen wirksam sein können.

Instrumente in der hausärztlichen Versorgung

Da die Zahl der spezialisierten Fachkräfte für die Versorgung der gefährdeten Bevölkerung begrenzt ist, könnte eine mögliche Lösung darin bestehen, Hausärztinnen und Hausärzte mit entsprechenden Instrumenten auszustatten. Diese Ärztinnen und Ärzte sind zwar keine Demenzspezialisten, stehen jedoch in direktem Kontakt mit dieser Bevölkerungsgruppe. Ihnen diagnostische Instrumente zur Verfügung zu stellen, erscheint daher als eine praktikable Lösung.

Elektronische Patientenakten

Die Nutzung elektronischer Patientenakten wird als geeignete Alternative für die Entwicklung solcher Instrumente vorgeschlagen, da diese die Besuchshistorie der Patientinnen und Patienten innerhalb eines Gesundheitssystems erfassen.

Es ist jedoch wichtig, auf die Schwierigkeit hinzuweisen, nicht altersbedingte Anzeichen einer kognitiven Beeinträchtigung zu erkennen. Diese werden häufig in kognitiven Untersuchungen und in den von medizinischem Fachpersonal dokumentierten Sorgen der Patientinnen festgehalten. Obwohl Studien mit den klinischen Informationen der Patientinnen und Patienten durchgeführt wurden, wurde die Nutzung klinischer Notizen aus Patientenakten für diesen Zweck bislang nur selten eingehend untersucht.

Klinische Notizen als Informationsquelle

In dieser Studie wird vorgeschlagen, klinische Notizen als Informationsquelle zu nutzen, die Informationen erfassen könnte, die in den meisten Studien nicht berücksichtigt werden. Die manuelle Analyse klinischer Notizen wäre sehr kostspielig. Ziel der Studie war es daher, ein automatisches, auf Deep Learning basierendes Erkennungsmodell zu entwickeln.

Der Ansatz dieser Studie ist daher originell und innovativ, da er klinische Notizen nutzt.

Klinische Notizen sind für Gesundheitsakten im klinischen Bereich von großer Bedeutung. Ihre Nutzung aus wissenschaftlicher Sicht war jedoch bislang begrenzt, wodurch ihre Anwendung zur Früherkennung kognitiver Beeinträchtigungen besonders interessant sein könnte.

Was wurde durchgeführt?

Datenbank

Für die Durchführung dieser Studie wurden Daten eines privaten Gesundheitsunternehmens herangezogen. Die Patientinnen und Patienten wurden nach Alter (sie mussten über 50 Jahre alt sein) und nach der Diagnose einer leichten kognitiven Beeinträchtigung gefiltert. Konkret wurden die klinischen Notizen aus den vier Jahren vor der Diagnose analysiert.

Die Definition der kognitiven Beeinträchtigung basierte auf dem Erwähnen von Symptomen, Diagnosen, kognitiven Untersuchungen und Behandlungen. Wenn die Notizen einen Verlauf, vorübergehende oder reversible Episoden erkennen ließen, wurden sie als negativ für eine kognitive Beeinträchtigung eingestuft.

Verarbeitung klinischer Notizen und Entwicklung der Datenbank

Aufgrund der Länge der klinischen Notizen wurde zunächst ein Verfahren zur Verarbeitung natürlicher Sprache eingesetzt, um sie in Abschnitte zu unterteilen. Diese Unterteilung ermöglichte festzustellen, ob jeder Abschnitt auf eine kognitive Beeinträchtigung hinwies oder nicht.

Anschließend wurden von Fachleuten ausgewählte Schlüsselwörter identifiziert. Diese Fachleute waren darin geschult, Abschnitte mit Anzeichen einer kognitiven Beeinträchtigung zu erkennen. Drei Annotierende kennzeichneten die Abschnitte. Unstimmigkeiten wurden durch Diskussionen mit Fachleuten auf diesem Gebiet geklärt, wodurch eine gute Übereinstimmung zwischen den Annotierenden erreicht wurde.

Darüber hinaus wurde ein annotierter Datensatz mit 4.950 Abschnitten erstellt, um mehrere Algorithmen des maschinellen Lernens zu trainieren und zu testen. Schließlich wurden zwei Datenbanken erstellt, die für die Entwicklung und Validierung des Modells verwendet werden sollten.

Datensätze

Der erste Datensatz, der für die Modellentwicklung verwendet wurde, enthielt ausschließlich Abschnitte mit ausgewählten Schlüsselwörtern. Dieser Datensatz umfasste 4.950 annotierte Abschnitte, die für die Entwicklung der Modelle des maschinellen Lernens bereitstanden.

Der zweite Datensatz bestand aus 2.000 zufällig aus allen Notizen ausgewählten Abschnitten, wobei die im ersten Datensatz verwendeten Abschnitte ausgeschlossen wurden. Dieser zweite Datensatz diente dazu, die Generalisierungsfähigkeit des Modells auf Notizabschnitten zu überprüfen, ohne einen auf Schlüsselwörtern basierenden Filter anzuwenden.

Modellentwicklung und Validierung

Zur Entwicklung des Modells wurde eine hierarchische Aufmerksamkeitsarchitektur auf Grundlage von Deep Learning verwendet, die in einer früheren Arbeit entwickelt worden war. Zusätzlich kamen vier grundlegende Algorithmen des maschinellen Lernens zum Einsatz: logistische Regression, Random Forest, Support Vector Machine und XGBoost.

Das zuvor entwickelte Modell enthielt ein an den Kontext angepasstes neuronales Faltungsnetzwerk. Dadurch konnte es mit Variationen von Wörtern umgehen und die Vorhersage über Aufmerksamkeits-Schichten interpretieren. Für weitere Informationen zum Modell empfiehlt es sich, den betreffenden Artikel und seine ergänzenden Tabellen zu konsultieren.

Interpretation der Modellvorhersage

Zur Interpretation der Modellvorhersage wurden die Wörter mit dem größten Gewicht in den für die Vorhersage verwendeten Aufmerksamkeits-Schichten identifiziert. Die Wörter mit einem relevanten Gewicht, also mindestens 2 Standardabweichungen über dem Mittelwert, wurden als Wörter mit hoher Aufmerksamkeit eingestuft und mit den ursprünglich ausgewählten Schlüsselwörtern verglichen.

Bei den Basismodellen wurden die Abschnitte hingegen durch die Häufigkeit des Auftretens von Begriffen repräsentiert, und die Algorithmen wurden mittels Kreuzvalidierung trainiert und getestet. Anschließend wurden die Ergebnisse des von der Forschungsgruppe entwickelten Modells mit den vier genannten Basismodellen verglichen.

Vergleich der Metriken

Die beiden zur Metrikvergleich verwendeten Maße waren AUROC (Fläche unter der Receiver-Operating-Characteristic-Kurve) und AUPRC (Fläche unter der Precision-Recall-Kurve).

AUROC ist eine bei diesen Modellen übliche Analysemethode, da sie die Bewertung verschiedener Schwellenwerte zwischen Sensitivität und Spezifität ermöglicht. AUPRC ist eine weitere wichtige Metrik, die bei unausgeglichenen Daten ergänzende Informationen liefert, wenn der Anteil positiver Fälle gering ist.

Was sind die wichtigsten Schlussfolgerungen dieser Studie zu einem Lernmodell auf Grundlage klinischer Notizen?

Die wichtigste Schlussfolgerung dieser Studie lautet, dass diagnostische Vorhersagen einer kognitiven Beeinträchtigung mithilfe eines auf klinischen Notizen basierenden Modells möglich sind. Diese Patientinnen und Patienten könnten sich in frühen Stadien einer kognitiven Beeinträchtigung befinden. Dadurch wäre es möglich, frühe Anzeichen in elektronischen Gesundheitsakten zu erkennen.

Das zu diesem Zweck entwickelte Modell war der beste Prädiktor für die Erkennung von Patientinnen und Patienten, bei denen sich eine kognitive Beeinträchtigung entwickeln wird, ohne auf strukturierte Daten angewiesen zu sein. Obwohl das Deep-Learning-Modell am besten abschnitt, zeigte auch das XGBoost-Modell gute Vorhersagen und stellt eine einfachere Alternative dar, falls die erforderliche Technologie nicht verfügbar ist.

Metriken AUROC und AUPRC

Zur Überprüfung dieser Ergebnisse können die in den Datensätzen 1 und 2 erzielten Werte der Metriken AUROC und AUPRC betrachtet werden (siehe Tabellen 1 beziehungsweise 2). Besonders bemerkenswert ist, dass das auf Deep Learning basierende Modell bei beiden Metriken der beste Prädiktor ist.

Bei AUROC liegen alle Werte über 0,9, wobei das Deep-Learning-Modell stets die besten Vorhersagen liefert. Bei AUPRC ist dies noch deutlicher, da nur dieses Modell über dem Wert 0,9 bleibt.

Die Unterschiede zwischen diesen Metriken unterstreichen die Konsistenz der Ergebnisse, da AUROC das Verhältnis zwischen der Rate echter Positiver und falscher Positiver zeigt, während AUPRC das Verhältnis zwischen Präzision und Sensitivität abbildet.

Bei unausgeglichenen Stichproben kann die AUROC-Metrik gegenüber falsch positiven Ergebnissen weniger konservativ sein. Die ergänzenden Informationen der AUPRC ermöglichen daher, die gute Leistung dieses Modells zu bestätigen.

Modell	AUROC	AUPRC
Logistische Regression	0.936	0.880
Random Forest	0.950	0.889
Support Vector Machine	0.939	0.883
XGBoost	0.953	0.882
Deep Learning	0.971	0.933

Modell	AUROC	AUPRC
Logistische Regression	0.969	0.762
Random Forest	0.985	0.830
Support Vector Machine	0.954	0.723
XGBoost	0.988	0.898
Deep Learning	0.997	0.929

Leistung des Modells

Ein weiterer hervorzuhebender Punkt dieser Studie ist, dass die Länge der Notizen die Leistung des Modells beeinflussen könnte. Bei ausreichendem Inhalt zeigt sich jedoch, dass eine Klassifizierung nach Abschnitten praktikabel sein kann.

Darüber hinaus könnten Modelle dieser Art auf andere Erkrankungen angewendet werden. Dabei ist jedoch zu berücksichtigen, dass die Identifizierung mehrdeutiger oder komplexer Informationen schwierig sein kann.

Welchen Beitrag könnte NeuronUP zu einer solchen Studie leisten?

NeuronUP könnte auf verschiedene Weise zu einer solchen Studie beitragen, da das Unternehmen über umfangreiche Erfahrung im Umgang mit großen Datenmengen verfügt.

Wie diese Studie zeigt, stellt der Umgang mit großen Datenmengen eine der größten Herausforderungen bei der Arbeit mit klinischen Notizen dar. Das Team von NeuronUP, zu dem Fachleute sowohl aus dem klinischen Bereich als auch aus der Datenanalyse gehören, könnte daher wertvolle Beiträge zur Verarbeitung der Informationen leisten, sei es mithilfe von Schlüsselwörtern oder ohne sie. 

Darüber hinaus zeichnet sich diese Studie durch den Vergleich von fünf verschiedenen Modellen aus, was die Robustheit der für das Modell erzielten Ergebnisse erhöht. Die Erfahrung des NeuronUP-Teams könnte auch beim Entwurf eines spezifischen Modells für diesen Zweck oder bei der Entwicklung robuster Modelle hilfreich sein, die mit dem entwickelten Modell verglichen werden können.

Li Zhou.  Sie ist seit mehr als zehn Jahren Professorin für Medizin an der Harvard Medical School und leitende Forscherin am Brigham and Women’s Hospital. Sie promovierte in biomedizinischer Informatik an der Columbia University. Ihre Forschung konzentriert sich auf die Verarbeitung natürlicher Sprache, Wissensmanagement und die Unterstützung klinischer Entscheidungsprozesse. Darüber hinaus war sie leitende Forscherin bei zahlreichen von AHRQ, NIH und CRICO/RMF finanzierten Forschungsprojekten.

Literaturverzeichnis

• Wang L, Laurentiev J, Yang J, et al. Development and Validation of a Deep Learning Model for Earlier Detection of Cognitive Decline From Clinical Notes in Electronic Health Records. JAMA Netw Open. 2021;4(11):e2135174. doi:10.1001/jamanetworkopen.2021.35174

Wenn Ihnen dieser Blogbeitrag über das Deep-Learning-Modell zur Früherkennung kognitiver Beeinträchtigungen anhand klinischer Notizen in elektronischen Patientenakten gefallen hat, interessieren Sie sicherlich auch diese NeuronUP-Artikel: