Antonio Javier Sutil Jiménez parla in questo articolo dei dati forniti nello studio “Modello di apprendimento profondo per il rilevamento precoce del deterioramento cognitivo a partire dalle note cliniche nelle cartelle cliniche elettroniche”.
Perché è importante questo studio sul modello di apprendimento a partire dalle note cliniche?
Questo studio affronta la rilevazione precoce del deterioramento cognitivo negli adulti, fondamentale per poter effettuare interventi terapeutici di successo, rallentare il deterioramento, prevenire lo sviluppo di malattie o facilitare l’iscrizione di partecipanti a studi clinici.
Malattia di Alzheimer
La malattia di Alzheimer è un tipo di demenza che rappresenta un grande problema a livello mondiale. Questa malattia è stata diagnosticata in quasi 6 milioni di persone negli Stati Uniti, e la sua prevalenza aumenta con l’età, per cui si prevede che l’invecchiamento della popolazione incrementerà la sua incidenza nel corso dei prossimi anni.
Tuttavia, oltre alla malattia di Alzheimer, il deterioramento cognitivo lieve è un problema di grande rilevanza, che in molti casi è associato a un successivo sviluppo di demenza.
Deterioramento cognitivo soggettivo
Allo stesso modo, di recente è stata creata la categoria di deterioramento cognitivo soggettivo. Questo termine si riferisce alla percezione dell’individuo di star sperimentando un deterioramento delle proprie capacità cognitive rispetto al proprio stato precedente.
Pur non essendo un’etichetta che corrisponde a una malattia di per sé, è stato identificato che le persone con questa condizione potrebbero essere in una fase precoce di deterioramento cognitivo.
Rilevazione del deterioramento cognitivo
Anche se si stanno compiendo grandi sforzi per migliorare i trattamenti per questi pazienti, la rilevazione del deterioramento cognitivo rimane una sfida, e il miglioramento degli strumenti di individuazione è necessario affinché i trattamenti successivi siano efficaci.
Strumenti in assistenza primaria
Dato che il numero di professionisti specializzati per assistere la popolazione a rischio è limitato, una possibile soluzione potrebbe essere fornire strumenti ai medici di assistenza primaria. Questi medici non sono specialisti in demenza, ma hanno contatto diretto con questa popolazione, pertanto dotarli di strumenti per la diagnosi si presenta come una soluzione praticabile.
Cartelle cliniche elettroniche
L’uso delle cartelle cliniche elettroniche si propone come un’alternativa adeguata per l’elaborazione di tali strumenti, poiché queste raccolgono la storia delle visite dei pazienti all’interno di un sistema di assistenza sanitaria.
Tuttavia, è importante sottolineare la difficoltà di identificare i segni di deterioramento cognitivo non associati all’età, che molte volte vengono documentati nelle valutazioni cognitive e nelle preoccupazioni dei pazienti registrate dagli operatori sanitari. Sebbene siano stati condotti studi con le informazioni cliniche dei pazienti, poche volte si è approfondito l’uso delle note cliniche delle cartelle per questo scopo.
Note cliniche come risorsa informativa
In questo studio si propone l’uso delle note cliniche come risorsa informativa che potrebbe catturare informazioni non considerate nella maggior parte degli studi. Analizzare manualmente le note cliniche sarebbe molto dispendioso, perciò l’obiettivo dello studio è stato sviluppare un modello di rilevamento automatico basato su apprendimento profondo.
Pertanto, l’approccio di questo studio è originale e innovativo nell’utilizzo delle note cliniche.
Le note cliniche sono molto importanti per le cartelle sanitarie in ambito clinico. Tuttavia, il loro impiego in ambito scientifico è stato limitato, rendendo la loro applicazione per il rilevamento precoce del deterioramento cognitivo di grande interesse.
Cosa è stato fatto?
Base di dati
Per la realizzazione di questo studio sono stati presi i dati da un’azienda sanitaria privata, filtrando i pazienti per età (dovevano essere maggiori di 50 anni) e per la diagnosi di deterioramento cognitivo lieve. In particolare, sono state analizzate le note cliniche dei 4 anni precedenti alla diagnosi.
La definizione di deterioramento cognitivo si è basata sulla menzione di sintomi, diagnosi, valutazioni cognitive e trattamenti. Quando le note indicavano miglioramento, episodi transitori o reversibili, sono state considerate negative per il deterioramento cognitivo.
Elaborazione delle note cliniche e sviluppo del database
In primo luogo, a causa della lunghezza delle note cliniche, è stato utilizzato un processore di linguaggio naturale per suddividerle in sezioni. Questa divisione ha permesso di identificare se ogni sezione indicava deterioramento cognitivo o meno.
Successivamente, sono state identificate parole chiave selezionate da esperti, addestrati a individuare sezioni contenenti indizi di deterioramento cognitivo. Tre annotatori hanno etichettato le sezioni, e i conflitti sono stati risolti mediante discussioni con esperti del settore, ottenendo un buon livello di accordo tra gli annotatori.
Inoltre, è stato creato un dataset etichettato con 4.950 sezioni per addestrare e testare diversi algoritmi di apprendimento automatico. Infine, sono stati creati due database che sarebbero stati utilizzati per lo sviluppo e la validazione del modello.
Set di dati
Il primo set di dati, impiegato per lo sviluppo del modello, includeva esclusivamente sezioni con parole chiave selezionate. Questo set di dati conteneva 4.950 sezioni annotate, pronte per lo sviluppo dei modelli di apprendimento automatico.
Il secondo set di dati consisteva in 2.000 sezioni selezionate a caso da tutte le note, escludendo quelle usate nel primo set. Questo secondo set è stato utilizzato per verificare la capacità di generalizzazione del modello su sezioni di note senza applicare un filtro basato sulle parole chiave.
Sviluppo del modello e validazione
Per sviluppare il modello, è stata utilizzata una struttura gerarchica di attenzione basata su apprendimento profondo che era stata sviluppata in un lavoro precedente, oltre a quattro algoritmi di base di apprendimento automatico: regressione logistica, Random Forest, support vector machine e XGBoost.
Il modello precedentemente sviluppato incorporava una rete neurale convoluzionale adattata al contesto, che permetteva di gestire variazioni di parole e interpretare la previsione tramite strati di attenzione. Per ottenere maggiori informazioni sul modello, si raccomanda di consultare l’articolo in questione e le sue tabelle supplementari.
Interpretazione della previsione del modello
Per interpretare la previsione del modello, sono state identificate le parole con maggiore peso negli strati di attenzione utilizzati nella previsione. Le parole con un peso rilevante, cioè almeno 2 deviazioni standard sopra la media, sono state considerate di alta attenzione e sono state confrontate con le parole chiave originali selezionate.
D’altro canto, per i modelli di base, le sezioni sono state rappresentate dalla frequenza di apparizione dei termini, e gli algoritmi sono stati addestrati e testati mediante validazione incrociata. Successivamente, i risultati del modello sviluppato dal gruppo di ricerca sono stati confrontati con i 4 modelli di base menzionati.
Confronto delle metriche
Le due misure usate per il confronto delle metriche sono state AUROC (area sotto la curva della caratteristica operativa del ricevitore) e AUPRC (area sotto la curva di precisione e richiamo).
AUROC è un metodo di analisi abituale in questi modelli, poiché permette di valutare le diverse soglie tra sensibilità e specificità. AUPRC è un’altra metrica importante che offre informazioni complementari per dati sbilanciati, quando la percentuale di casi positivi è bassa.
Iscriviti
alla nostra
Newsletter
Quali sono le principali conclusioni di questo studio sul modello di apprendimento a partire dalle note cliniche?
La conclusione principale di questo studio è che è possibile effettuare predizioni diagnostiche di deterioramento cognitivo utilizzando un modello basato sulle note cliniche. Questi pazienti potrebbero trovarsi nelle prime fasi del deterioramento cognitivo, permettendo di identificare segnali precoci nei registri elettronici di salute.
Il modello sviluppato per questo scopo è stato il miglior predittore per individuare i pazienti che svilupperanno deterioramento cognitivo, senza dipendere dai dati strutturati. Anche se il modello di apprendimento profondo è stato il migliore, il modello XGBoost ha mostrato buone predizioni, e si propone come un’alternativa più semplice nel caso non si disponga della tecnologia necessaria.
Metriche AUROC e AUPRC
Per verificare questi risultati, si possono osservare i punteggi ottenuti nelle metriche AUROC e AUPRC nei dataset 1 e 2 (vedi tabelle 1 e 2, rispettivamente). È particolarmente notevole che il modello basato sul deep learning sia il miglior predittore in entrambe le metriche.
Nel caso di AUROC, tutti i valori sono superiori a 0,9, essendo sempre il modello di deep learning quello che predice meglio. Per quanto riguarda AUPRC, questo è ancora più evidente, poiché questo modello è l’unico che rimane al di sopra del valore 0,9.
Le differenze tra queste metriche rafforzano la coerenza dei risultati, poiché, mentre AUROC mostra la relazione tra tasso di veri positivi e falsi positivi, AUPRC riflette la relazione tra precisione e sensibilità.
In campioni sbilanciati, la metrica AUROC può essere meno cauta con i falsi positivi, per cui l’informazione complementare di AUPRC consente di confermare il buon rendimento di questo modello.
| Modello | AUROC | AUPRC |
| Regressione logistica | 0.936 | 0.880 |
| Random Forest | 0.950 | 0.889 |
| Support Vector Machine | 0.939 | 0.883 |
| XGBoost | 0.953 | 0.882 |
| Deep Learning | 0.971 | 0.933 |
| Modello | AUROC | AUPRC |
| Regressione logistica | 0.969 | 0.762 |
| Random Forest | 0.985 | 0.830 |
| Support Vector Machine | 0.954 | 0.723 |
| XGBoost | 0.988 | 0.898 |
| Deep Learning | 0.997 | 0.929 |
Prestazioni del modello
Un altro aspetto che mette in evidenza questo studio è che la lunghezza delle note potrebbe influenzare le prestazioni del modello; tuttavia, mantenendo contenuto sufficiente, si dimostra che la classificazione per sezioni può essere fattibile.
Inoltre, questo tipo di modelli potrebbe essere applicato ad altre patologie, sebbene sia importante considerare che l’identificazione di informazioni ambigue o complesse può risultare difficile.
Prova NeuronUP gratis per 7 giorni
Potrai collaborare con le nostre attività, progettare sedute o fare riabilitazione a distanza.
Dove NeuronUP potrebbe contribuire in uno studio come questo?
NeuronUP potrebbe contribuire in diversi modi a uno studio come questo, poiché ha una lunga esperienza nel lavoro con grandi quantità di dati.
Come si osserva in questo studio, la gestione di grandi volumi di dati è una delle principali sfide quando si lavora con note cliniche. Pertanto, il team di NeuronUP, che conta su specialisti sia in ambito clinico sia nell’analisi dei dati, potrebbe fornire preziosi contributi nell’elaborazione delle informazioni, sia mediante l’uso di parole chiave sia senza di esse.
D’altra parte, questo studio si distingue per il confronto di cinque modelli differenti, il che conferisce robustezza ai risultati ottenuti per il suo modello. L’esperienza del team di NeuronUP potrebbe inoltre essere utile nella progettazione di un modello specifico per questo scopo, o nella creazione di modelli robusti da confrontare con il modello sviluppato.
Li Zhou. Professoressa di medicina alla Harvard Medical School da oltre dieci anni, ed è la ricercatrice principale al Brigham and Women’s Hospital. Possiede un dottorato in Informatica Biomedica presso la Columbia University, e la sua ricerca si è concentrata sull’elaborazione del linguaggio naturale, la gestione della conoscenza e il supporto alle decisioni cliniche. Inoltre, è stata la ricercatrice principale in numerosi progetti di ricerca finanziati da AHRQ, NIH e CRICO/RMF.
Bibliografia
- Wang L, Laurentiev J, Yang J, et al. Development and Validation of a Deep Learning Model for Earlier Detection of Cognitive Decline From Clinical Notes in Electronic Health Records. JAMA Netw Open. 2021;4(11):e2135174. doi:10.1001/jamanetworkopen.2021.35174
FOMO: La paura di restare esclusi dall’era digitale
Lascia un commento