Modelo de aprendizado profundo para a detecção precoce da deterioração cognitiva a partir de anotações clínicas em prontuários eletrônicos

Antonio Javier Sutil Jiménez fala neste artigo sobre os dados apresentados no estudo “Modelo de aprendizado profundo para a detecção precoce do comprometimento cognitivo a partir de notas clínicas em prontuários eletrônicos”.

Por que este estudo de modelo de aprendizado a partir de notas clínicas é importante?

Este estudo aborda a detecção precoce do comprometimento cognitivo em adultos, o que é fundamental para realizar intervenções terapêuticas bem-sucedidas, retardar o declínio, prevenir o desenvolvimento de doenças ou facilitar a inscrição de participantes em ensaios clínicos.

Doença de Alzheimer

A doença de Alzheimer é um tipo de demência que representa um grande problema em nível mundial. Essa doença foi diagnosticada em quase 6 milhões de pessoas nos Estados Unidos, e sua prevalência aumenta com a idade, por isso espera-se que o envelhecimento da população também aumente sua incidência ao longo dos próximos anos.

No entanto, para além da doença de Alzheimer, o comprometimento cognitivo leve é um problema de grande relevância, que em muitos casos está associado ao posterior desenvolvimento de demência.

Comprometimento cognitivo subjetivo

Da mesma forma, recentemente foi criada a categoria de comprometimento cognitivo subjetivo. Esse termo refere-se à percepção do indivíduo de estar experimentando um declínio de suas capacidades cognitivas em comparação com seu estado anterior.

Embora esse rótulo não seja uma doença em si, foi identificado que pessoas com essa condição podem estar em um estágio inicial de comprometimento cognitivo.

Detecção do comprometimento cognitivo

Apesar dos grandes esforços para melhorar os tratamentos para esses pacientes, a detecção do comprometimento cognitivo continua a ser um desafio, e a melhoria das ferramentas de detecção é necessária para que os tratamentos posteriores sejam eficazes.

Ferramentas na atenção primária

Visto que o número de profissionais especializados para atender a população em risco é limitado, uma possível solução poderia ser fornecer ferramentas aos médicos de atenção primária. Esses médicos não são especialistas em demência, mas têm contato direto com essa população, por isso prover-lhes ferramentas para o diagnóstico surge como uma solução viável.

Registros médicos electrónicos

O uso dos registros médicos eletrônicos é proposto como uma alternativa adequada para a elaboração dessas ferramentas, já que esses compõem o histórico de visitas dos pacientes dentro de um sistema de atenção médica.

No entanto, é importante destacar a dificuldade de identificar os sinais de comprometimento cognitivo não associados à idade, que muitas vezes ficam documentados em avaliações cognitivas e nas preocupações dos pacientes registradas pelos profissionais de saúde. Embora tenham sido realizados estudos com a informação clínica dos pacientes, poucas vezes se aprofundou o uso das notas clínicas dos registros médicos para esse fim.

Notas clínicas como recurso informativo

Neste estudo propõe-se o uso das notas clínicas como um recurso informativo que poderia capturar informações não consideradas na maioria dos estudos. Analisar as notas clínicas manualmente seria muito custoso, por isso o objetivo do estudo foi desenvolver um modelo de detecção automático baseado em aprendizado profundo.

Portanto, a abordagem deste estudo é original e inovadora ao utilizar as notas clínicas.

As notas clínicas são muito importantes para os históricos de saúde no âmbito clínico. No entanto, seu uso no âmbito científico tem sido limitado, tornando sua aplicação para a detecção precoce do comprometimento cognitivo potencialmente de grande interesse.

O que foi feito?

Base de datos

Para a realização deste estudo, foram coletados dados de uma empresa de saúde privada, filtrando os pacientes por idade (deviam ter mais de 50 anos) e pelo diagnóstico de comprometimento cognitivo leve. Em concreto, foram analisadas as notas clínicas dos 4 anos anteriores ao diagnóstico.

A definição do comprometimento cognitivo baseou-se na menção de sintomas, diagnóstico, avaliações cognitivas e tratamentos. Quando as notas indicavam progresso, episódios transitórios ou reversíveis, foram consideradas negativas para comprometimento cognitivo.

Processamento das notas clínicas e desenvolvimento da base de dados

Inicialmente, devido ao comprimento das notas clínicas, foi utilizado um processador de linguagem natural para dividi-las em seções. Essa divisão permitiu identificar se cada seção indicava comprometimento cognitivo ou não.

Em seguida, foram identificadas palavras-chave selecionadas por especialistas, treinados para identificar seções que continham indícios de comprometimento cognitivo. Três anotadores rotularam as seções, e os conflitos foram resolvidos mediante discussões com especialistas na matéria, alcançando um bom nível de concordância entre os anotadores.

Além disso, foi criado um conjunto de dados rotulado com 4.950 seções para treinar e testar vários algoritmos de aprendizado de máquina. Finalmente, foram criadas duas bases de dados que seriam utilizadas para o desenvolvimento e validação do modelo.

Conjuntos de dados

O primeiro conjunto de dados, utilizado para o desenvolvimento do modelo, incluía apenas seções com palavras-chave selecionadas. Esse conjunto continha 4.950 seções anotadas, prontas para o desenvolvimento dos modelos de aprendizado de máquina.

O segundo conjunto de dados consistiu em 2.000 seções selecionadas aleatoriamente de todas as notas, excluindo as usadas no primeiro conjunto. Esse segundo conjunto foi utilizado para verificar a capacidade de generalização do modelo em seções de notas sem aplicar um filtro baseado em palavras-chave.

Desenvolvimento do modelo e validação

Para desenvolver o modelo, utilizaram uma estrutura hierárquica de atenção baseada em aprendizado profundo que havia sido desenvolvida em um trabalho prévio, além de quatro algoritmos base de aprendizado de máquina: regresión logística, random forest, support vector machine e XGBoost.

O modelo previamente desenvolvido incorporava uma rede neural convolucional adaptada ao contexto, o que permitia lidar com variações de palavras e interpretar a predição por meio de camadas de atenção. Para obter mais informações sobre o modelo, recomenda-se consultar o artigo em questão e suas tabelas suplementares.

Interpretação da predição do modelo

Para interpretar a predição do modelo, foram identificadas as palavras com maior peso nas camadas de atenção utilizadas na predição. As palavras com um peso relevante, isto é, de pelo menos 2 desvios padrão acima da média, foram consideradas de alta atenção e comparadas com as palavras-chave originais selecionadas.

Por outro lado, para os modelos base, as seções foram representadas pela frequência de ocorrência de termos, e os algoritmos foram treinados e testados por meio de validação cruzada. Posteriormente, os resultados do modelo desenvolvido pelo grupo de pesquisa foram comparados com os 4 modelos base mencionados.

Comparação de métricas

As duas medidas usadas para a comparação das métricas foram AUROC (área sob a curva da característica operativa do receptor) e AUPRC (área sob a curva de precisão e recuperação).

AUROC é um método de análise habitual nesses modelos, pois permite avaliar os diferentes limiares entre sensibilidade e especificidade. AUPRC é outra métrica importante que oferece informação complementar para dados não balanceados, quando a porcentagem de casos positivos é baixa.

Quais são as principais conclusões deste estudo de modelo de aprendizado a partir de notas clínicas?

A conclusão principal deste estudo é que é possível realizar previsões diagnósticas de comprometimento cognitivo utilizando um modelo baseado nas notas clínicas. Esses pacientes podem estar nas primeiras fases do comprometimento cognitivo, o que permitiria identificar sinais precoces nos registros eletrônicos de saúde.

O modelo desenvolvido para esse propósito foi o melhor preditor para detectar pacientes que desenvolverão comprometimento cognitivo, sem depender dos dados estruturados. Embora o modelo de aprendizado profundo tenha sido o melhor, o modelo XGBoost também mostrou boas predições, e se coloca como uma alternativa mais simples caso não se disponha da tecnologia necessária.

Métricas AUROC e AUPRC

Para comprovar esses resultados, podem-se observar as pontuações obtidas nas métricas AUROC e AUPRC nos conjuntos de dados 1 e 2 (ver tabelas 1 e 2, respectivamente). É especialmente notável que o modelo baseado em aprendizagem profunda é o melhor preditor em ambas as métricas.

No caso do AUROC, todos os valores são superiores a 0.9, sendo sempre o modelo de aprendizagem profunda o que melhor prediz. Quanto ao AUPRC, isso é ainda mais evidente, pois esse modelo é o único que se mantém acima do valor 0.9.

As diferenças entre essas métricas reforçam a consistência dos resultados, uma vez que, enquanto o AUROC mostra a relação entre a taxa de verdadeiros positivos e falsos positivos, o AUPRC reflete a relação entre precisão e sensibilidade.

Em amostras desbalanceadas, a métrica AUROC pode ser menos conservadora com os falsos positivos, por isso a informação complementar do AUPRC permite confirmar o bom desempenho deste modelo.

Modelo	AUROC	AUPRC
Regressão logística	0.936	0.880
Random Forest	0.950	0.889
Máquina de Vetores de Suporte	0.939	0.883
XGBoost	0.953	0.882
Aprendizagem profunda	0.971	0.933

Modelo	AUROC	AUPRC
Regressão logística	0.969	0.762
Random Forest	0.985	0.830
Máquina de Vetores de Suporte	0.954	0.723
XGBoost	0.988	0.898
Aprendizagem profunda	0.997	0.929

Desempenho do modelo

Outro ponto que destaca este estudo é que o comprimento das notas pode afetar o desempenho do modelo; no entanto, mantendo conteúdo suficiente, demonstra-se que a classificação por seções pode ser factível.

Além disso, esse tipo de modelo poderia ser aplicado a outras patologias, embora seja importante considerar que a identificação de informação ambígua ou complexa pode ser difícil.

Onde a NeuronUP poderia contribuir em um estudo como este?

NeuronUP poderia contribuir de diversas formas a um estudo como este, pois tem uma ampla trajetória trabalhando com grandes quantidades de dados.

Como se observa neste estudo, o manejo de grandes volumes de dados é um dos principais desafios ao trabalhar com notas clínicas. Portanto, a equipe da NeuronUP, que conta com especialistas tanto no âmbito clínico quanto na análise de dados, poderia realizar valiosas contribuições no processamento da informação, seja por meio do uso de palavras-chave ou sem elas. 

Por outro lado, este estudo destaca-se pela comparação de cinco modelos diferentes, o que confere robustez aos resultados obtidos para seu modelo. A experiência da equipe da NeuronUP também poderia ser útil no desenho de um modelo específico para esse propósito, ou na criação de modelos robustos para compará-los com o modelo desenvolvido.

Li Zhou.  Professora de medicina na Faculdade de Medicina de Harvard há mais de dez anos, e é a investigadora principal no Brigham and Women’s Hospital. Possui doutorado em Informática Biomédica pela Universidade de Columbia, e sua pesquisa tem se centrado no processamento de linguagem natural, na gestão do conhecimento e no apoio à tomada de decisões clínicas. Além disso, foi investigadora principal em numerosos projetos de pesquisa financiados pela AHRQ, NIH e CRICO/RMF.

Bibliografia

• Wang L, Laurentiev J, Yang J, et al. Development and Validation of a Deep Learning Model for Earlier Detection of Cognitive Decline From Clinical Notes in Electronic Health Records. JAMA Netw Open. 2021;4(11):e2135174. doi:10.1001/jamanetworkopen.2021.35174

Se você gostou desta entrada do blog sobre o modelo de aprendizagem profunda para a detecção precoce do declínio cognitivo a partir de notas clínicas em prontuários eletrônicos, certamente lhe interessarão estes artigos da NeuronUP: