Antonio Javier Sutil Jiménez parla in questo articolo dei dati forniti nello studio “Modello di apprendimento profondo per la rilevazione precoce del deterioramento cognitivo a partire da note cliniche nelle cartelle cliniche elettroniche”.
Perché è importante questo studio sul modello di apprendimento a partire da note cliniche?
Questo studio affronta la rilevazione precoce del deterioramento cognitivo negli adulti, fondamentale per poter effettuare interventi terapeutici efficaci, rallentare il deterioramento, prevenire lo sviluppo di malattie o facilitare l’iscrizione dei partecipanti in studi clinici.
Malattia di Alzheimer
La malattia di Alzheimer è un tipo di demenza che rappresenta un grande problema a livello mondiale. Questa malattia è stata diagnosticata in quasi 6 milioni di persone negli Stati Uniti, e la sua prevalenza aumenta con l’età, per cui si prevede che l’invecchiamento della popolazione aumenterà la sua incidenza negli anni a venire.
Tuttavia, oltre alla malattia di Alzheimer, il deterioramento cognitivo lieve è un problema di grande rilevanza, che in molti casi è associato a un successivo sviluppo di demenza.
Deterioramento cognitivo soggettivo
Inoltre, è stata recentemente creata la categoria di deterioramento cognitivo soggettivo. Questo termine si riferisce alla percezione dell’individuo di sperimentare un deterioramento delle proprie capacità cognitive rispetto al proprio stato precedente.
Sebbene questa etichetta non sia una malattia di per sé, è stato identificato che le persone con questa condizione potrebbero trovarsi in una fase iniziale di deterioramento cognitivo.
Rilevazione del deterioramento cognitivo
Nonostante gli sforzi per migliorare i trattamenti per questi pazienti, la rilevazione del deterioramento cognitivo rimane una sfida, e il miglioramento degli strumenti di rilevazione è necessario affinché i trattamenti successivi siano efficaci.
Strumenti in assistenza primaria
Dato che il numero di professionisti specializzati per assistere la popolazione a rischio è limitato, una possibile soluzione potrebbe essere quella di fornire strumenti ai medici di assistenza primaria. Questi medici non sono specialisti in demenza, ma hanno contatto diretto con questa popolazione, quindi dotarli di strumenti diagnostici si presenta come una soluzione praticabile.
Registri medici elettronici
L’uso dei registri medici elettronici è proposto come un’alternativa adeguata per lo sviluppo di tali strumenti, poiché questi registrano la storia delle visite dei pazienti all’interno di un sistema di assistenza sanitaria.
Tuttavia, è importante evidenziare la difficoltà di identificare i segni di deterioramento cognitivo non associati all’età, che spesso vengono documentati in valutazioni cognitive e nelle preoccupazioni dei pazienti registrate dai professionisti sanitari. Sebbene siano stati condotti studi con le informazioni cliniche dei pazienti, raramente è stato approfondito l’uso delle note cliniche nei registri medici a tale scopo.
Note cliniche come risorsa informativa
In questo studio si propone l’uso delle note cliniche come una risorsa informativa che potrebbe catturare informazioni non considerate nella maggior parte degli studi. L’analisi manuale delle note cliniche sarebbe molto costosa, quindi l’obiettivo dello studio era sviluppare un modello di rilevazione automatico basato sul deep learning.
Di conseguenza, l’approccio di questo studio è originale e innovativo grazie all’uso delle note cliniche.
Le note cliniche sono molto importanti per le storie cliniche in ambito medico. Tuttavia, il loro uso nell’ambito scientifico è stato limitato, rendendo la loro applicazione per la rilevazione precoce del deterioramento cognitivo di grande interesse.
Iscriviti
alla nostra
Newsletter
Cosa è stato fatto?
Database
Per la realizzazione di questo studio, sono stati presi i dati di un’azienda sanitaria privata, filtrando i pazienti per età (dovevano essere maggiori di 50 anni) e per la diagnosi di deterioramento cognitivo lieve. In particolare, sono state analizzate le note cliniche dei 4 anni precedenti alla diagnosi.
La definizione di deterioramento cognitivo si è basata sulla menzione di sintomi, diagnosi, valutazioni cognitive e trattamenti. Quando le note indicavano progresso, episodi transitori o reversibili, sono stati considerati negativi per il deterioramento cognitivo.
Elaborazione delle note cliniche e sviluppo del database
Inizialmente, a causa della lunghezza delle note cliniche, è stato utilizzato un processore di linguaggio naturale per dividerle in sezioni. Questa divisione ha permesso di identificare se ogni sezione indicava deterioramento cognitivo o meno.
Successivamente, sono state identificate parole chiave selezionate da esperti, addestrati per identificare sezioni contenenti indizi di deterioramento cognitivo. Tre annotatori hanno etichettato le sezioni, e i conflitti sono stati risolti attraverso discussioni con esperti in materia, ottenendo un buon livello di accordo tra gli annotatori.
Inoltre, è stato creato un set di dati etichettato con 4.950 sezioni per addestrare e testare diversi algoritmi di apprendimento automatico. Infine, sono stati creati due database che sarebbero stati utilizzati per lo sviluppo e la validazione del modello.
Set di dati
Il primo set di dati, utilizzato per lo sviluppo del modello, includeva solo sezioni con parole chiave selezionate. Questo set di dati conteneva 4.950 sezioni annotate, pronte per lo sviluppo dei modelli di apprendimento automatico.
Il secondo set di dati consisteva in 2.000 sezioni selezionate casualmente da tutte le note, escludendo quelle usate nel primo set. Questo secondo set è stato utilizzato per verificare la capacità di generalizzazione del modello in sezioni di note senza applicare un filtro basato sulle parole chiave.
Sviluppo del modello e validazione
Per sviluppare il modello, è stata utilizzata una struttura gerarchica di attenzione basata su deep learning, sviluppata in un precedente lavoro, oltre a quattro algoritmi base di apprendimento automatico: regressione logistica, random forest, support vector machine e XGBoost.
Il modello precedentemente sviluppato incorporava una rete neurale convoluzionale adattata al contesto, consentendo di gestire variazioni di parole e interpretare la predizione attraverso livelli di attenzione. Per ulteriori informazioni sul modello, si consiglia di consultare l’articolo in questione e le sue tabelle supplementari.
Interpretazione della predizione del modello
Per interpretare la predizione del modello, sono state identificate le parole con il peso maggiore nei livelli di attenzione utilizzati nella predizione. Le parole con un peso rilevante, cioè di almeno 2 deviazioni standard sopra la media, sono state considerate di alta attenzione e confrontate con le parole chiave originali selezionate.
Per i modelli di base, invece, le sezioni sono state rappresentate dalla frequenza di apparizione dei termini e gli algoritmi sono stati addestrati e testati tramite validazione incrociata. Successivamente, i risultati del modello sviluppato dal gruppo di ricerca sono stati confrontati con i 4 modelli base menzionati.
Confronto delle metriche
Le due misure usate per il confronto delle metriche sono state AUROC (area sotto la curva della caratteristica operativa del ricevitore) e AUPRC (area sotto la curva di precisione e richiamo).
AUROC è un metodo di analisi abituale in questi modelli, poiché consente di valutare le diverse soglie tra sensibilità e specificità. AUPRC è un’altra metrica importante che offre informazioni complementari per dati sbilanciati, quando la percentuale di casi positivi è bassa.
Quali sono le principali conclusioni di questo studio del modello di apprendimento basato su note cliniche?
La conclusione principale di questo studio è che è possibile realizzare predizioni diagnostiche di deterioramento cognitivo utilizzando un modello basato sulle note cliniche. Questi pazienti potrebbero essere nelle prime fasi del deterioramento cognitivo, consentendo di identificare segnali precoci nei registri elettronici di salute.
Il modello sviluppato per questo scopo è stato il miglior predittore per identificare pazienti che svilupperanno deterioramento cognitivo, senza dipendere dai dati strutturati. Sebbene il modello di deep learning sia stato il migliore, il modello XGBoost ha anche mostrato buone predizioni e si propone come una soluzione più semplice nel caso in cui la tecnologia necessaria non sia disponibile.
Metriche AUROC e AUPRC
Per verificare questi risultati, si possono osservare i punteggi ottenuti nelle metriche AUROC e AUPRC nei set di dati 1 e 2 (vedi tabelle 1 e 2, rispettivamente). È particolarmente notevole che il modello basato su deep learning sia il miglior predittore in entrambe le metriche.
Nel caso di AUROC, tutti i valori sono superiori a 0.9, con il modello di deep learning che predice sempre meglio. Per quanto riguarda AUPRC, ciò è ancora più evidente, poiché questo modello è l’unico che si mantiene sopra il valore 0.9.
Le differenze tra queste metriche rafforzano la coerenza dei risultati, poiché, mentre AUROC mostra la relazione tra il tasso di veri positivi e falsi positivi, AUPRC riflette la relazione tra precisione e sensibilità.
In campioni sbilanciati, la metrica AUROC può essere meno conservatrice nei confronti dei falsi positivi, quindi le informazioni complementari di AUPRC permettono di confermare il buon rendimento di questo modello.
| Modello | AUROC | AUPRC |
| Regressione logistica | 0.936 | 0.880 |
| Random Forest | 0.950 | 0.889 |
| Support Vector Machine | 0.939 | 0.883 |
| XGBoost | 0.953 | 0.882 |
| Deep Learning | 0.971 | 0.933 |
| Modello | AUROC | AUPRC |
| Regressione logistica | 0.969 | 0.762 |
| Random Forest | 0.985 | 0.830 |
| Support Vector Machine | 0.954 | 0.723 |
| XGBoost | 0.988 | 0.898 |
| Deep Learning | 0.997 | 0.929 |
Prestazioni del modello
Un altro aspetto importante evidenziato da questo studio è che la lunghezza delle note potrebbe influenzare le prestazioni del modello; tuttavia, mantenendo un contenuto sufficiente, si dimostra che la classificazione per sezioni può essere fattibile.
Inoltre, questo tipo di modelli potrebbe essere applicato ad altre patologie, anche se è importante considerare che l’identificazione di informazioni ambigue o complesse può risultare difficile.
Prova NeuronUP gratis per 15 giorni
Potrai collaborare con le nostre attività, progettare sedute o fare riabilitazione a distanza.
Dove NeuronUP potrebbe contribuire a uno studio come questo?
NeuronUP potrebbe contribuire in vari modi a uno studio come questo, poiché ha una vasta esperienza nella gestione di grandi quantità di dati.
Come evidenziato in questo studio, la gestione di grandi volumi di dati è una delle principali sfide quando si lavora con note cliniche. Pertanto, il team di NeuronUP, composto da specialisti sia nel settore clinico che nell’analisi dei dati, potrebbe fornire un contributo prezioso nell’elaborazione delle informazioni, sia utilizzando parole chiave che senza.
D’altro canto, questo studio si distingue per il confronto tra cinque modelli diversi, che conferisce solidità ai risultati ottenuti per il modello. L’esperienza del team di NeuronUP potrebbe essere utile nella progettazione di un modello specifico per questo scopo, oppure nella creazione di modelli robusti da confrontare con il modello sviluppato.
Li Zhou. Professoressa di medicina presso la Facoltà di Medicina di Harvard da più di dieci anni, è la ricercatrice principale al Brigham and Women’s Hospital. Ha conseguito un dottorato in Informatica Biomedica all’Università di Columbia e la sua ricerca si è concentrata sull’elaborazione del linguaggio naturale, la gestione della conoscenza e il supporto alle decisioni cliniche. Inoltre, è stata la ricercatrice principale in numerosi progetti di ricerca finanziati da AHRQ, NIH e CRICO/RMF.
Bibliografia
- Wang L, Laurentiev J, Yang J, et al. Development and Validation of a Deep Learning Model for Earlier Detection of Cognitive Decline From Clinical Notes in Electronic Health Records. JAMA Netw Open. 2021;4(11):e2135174. doi:10.1001/jamanetworkopen.2021.35174
