Modelo de aprendizado profundo para a detecção precoce da deterioração cognitiva a partir de notas clínicas em prontuários eletrônicos

Antonio Javier Sutil Jiménez fala neste artigo sobre os dados apresentados no estudo “Modelo de aprendizado profundo para a detecção precoce do comprometimento cognitivo a partir de notas clínicas em prontuários eletrônicos”.

Por que este estudo de modelo de aprendizado a partir de notas clínicas é importante?

Este estudo aborda a detecção precoce do comprometimento cognitivo em adultos, o que é fundamental para poder realizar intervenções terapêuticas bem-sucedidas, retardar o declínio, prevenir o desenvolvimento de doenças ou facilitar a inscrição de participantes em ensaios clínicos.

Doença de Alzheimer

A doença de Alzheimer é um tipo de demência que representa um grande problema em nível mundial. Essa doença foi diagnosticada em quase 6 milhões de pessoas nos Estados Unidos, e sua prevalência aumenta com a idade, de modo que espera-se que o envelhecimento da população também aumente sua incidência ao longo dos próximos anos.

No entanto, além da doença de Alzheimer, o comprometimento cognitivo leve é um problema de grande relevância, que em muitos casos está associado a um posterior desenvolvimento de demência.

Comprometimento cognitivo subjetivo

Da mesma forma, recentemente foi criada a categoria de comprometimento cognitivo subjetivo. Esse termo refere-se à percepção do indivíduo de estar experimentando um declínio de suas capacidades cognitivas em comparação com seu estado prévio.

Embora esse rótulo não seja uma doença em si, foi identificado que as pessoas com essa condição podem estar em uma fase inicial de comprometimento cognitivo.

Detecção do comprometimento cognitivo

Embora grandes esforços estejam sendo feitos para melhorar os tratamentos para esses pacientes, a detecção do comprometimento cognitivo continua sendo um desafio, e a melhoria das ferramentas de detecção é necessária para que os tratamentos posteriores sejam eficazes.

Ferramentas na atenção primária

Dado que o número de profissionais especializados para atender a população em risco é limitado, uma possível solução poderia ser fornecer ferramentas aos médicos de atenção primária. Esses médicos não são especialistas em demência, mas têm contato direto com essa população, por isso prover-lhes ferramentas para o diagnóstico se apresenta como uma solução viável.

Prontuários médicos eletrônicos

O uso dos prontuários médicos eletrônicos se propõe como uma alternativa adequada para a elaboração dessas ferramentas, já que eles compilam o histórico de consultas dos pacientes dentro de um sistema de atenção médica.

No entanto, é importante destacar a dificuldade de identificar os sinais de comprometimento cognitivo não associados à idade, que muitas vezes ficam documentados em avaliações cognitivas e nas preocupações dos pacientes registradas pelos profissionais de saúde. Embora tenham sido realizados estudos com as informações clínicas dos pacientes, poucas vezes se aprofundou o uso das notas clínicas dos prontuários para esse fim.

Notas clínicas como recurso informativo

Neste estudo propõe-se o uso das notas clínicas como um recurso informativo que poderia captar informação que não é considerada na maioria dos estudos. O fato de analisar as notas clínicas manualmente seria muito custoso, por isso o objetivo do estudo foi desenvolver um modelo de detecção automático baseado em aprendizado profundo.

Portanto, a abordagem deste estudo é original e inovadora ao fazer uso das notas clínicas.

As notas clínicas são muito importantes para os prontuários de saúde no âmbito clínico. No entanto, seu uso no âmbito científico tem sido limitado, fazendo com que sua aplicação para a detecção precoce do comprometimento cognitivo possa ser de grande interesse.

O que foi feito?

Base de dados

Para a realização deste estudo, foram utilizados dados de uma empresa de saúde privada, filtrando os pacientes por idade (devem ser maiores de 50 anos) e pelo diagnóstico de comprometimento cognitivo leve. Em concreto, foram analisadas as notas clínicas dos 4 anos anteriores ao diagnóstico.

A definição do comprometimento cognitivo baseou-se na menção de sintomas, diagnóstico, avaliações cognitivas e tratamentos. Quando as notas indicavam progresso, episódios transitórios ou reversíveis, foram consideradas negativas para comprometimento cognitivo.

Processamento das notas clínicas e desenvolvimento da base de dados

Primeiramente, devido ao comprimento das notas clínicas, foi utilizado um processador de linguagem natural para dividi-las em seções. Essa divisão permitiu identificar se cada seção indicava comprometimento cognitivo ou não.

Em seguida, foram identificadas palavras-chave selecionadas por especialistas, treinados para identificar seções que continham indícios de comprometimento cognitivo. Três anotadores rotularam as seções, e os conflitos foram resolvidos mediante discussões com especialistas na matéria, alcançando um bom nível de concordância entre os anotadores.

Além disso, foi criado um conjunto de dados rotulado com 4.950 seções para treinar e testar vários algoritmos de aprendizado de máquina. Finalmente, foram criadas duas bases de dados que seriam utilizadas para o desenvolvimento e validação do modelo.

Conjuntos de dados

O primeiro conjunto de dados, empregado para o desenvolvimento do modelo, incluía apenas seções com palavras-chave selecionadas. Esse conjunto de dados continha 4.950 seções anotadas, prontas para o desenvolvimento dos modelos de aprendizado de máquina.

O segundo conjunto de dados consistiu em 2.000 seções selecionadas aleatoriamente de todas as notas, excluindo as usadas no primeiro conjunto. Esse segundo conjunto foi utilizado para verificar a capacidade de generalização do modelo em seções de notas sem aplicar um filtro baseado em palavras-chave.

Desenvolvimento do modelo e validação

Para desenvolver o modelo, utilizaram uma estrutura hierárquica de atenção baseada em aprendizado profundo que havia sido desenvolvida em um trabalho prévio, além de quatro algoritmos base de aprendizado de máquina: regressão logística, random forest, máquina de vetores de suporte e XGBoost.

O modelo previamente desenvolvido incorporava uma rede neural convolucional adaptada ao contexto, o que permitia lidar com variações de palavras e interpretar a predição por meio de camadas de atenção. Para obter mais informações do modelo, recomenda-se consultar o artigo em questão e suas tabelas suplementares.

Interpretação da predição do modelo

Para interpretar a predição do modelo, foram identificadas as palavras com maior peso nas camadas de atenção utilizadas na predição. As palavras com um peso relevante, isto é, de pelo menos 2 desvios-padrão acima da média, foram consideradas de alta atenção e foram comparadas com as palavras-chave originais selecionadas.

Por outro lado, para os modelos base, as seções foram representadas pela frequência de ocorrência de termos, e os algoritmos foram treinados e testados mediante validação cruzada. Posteriormente, os resultados do modelo desenvolvido pelo grupo de pesquisa foram comparados com os 4 modelos base mencionados.

Comparação de métricas

As duas medidas utilizadas para a comparação das métricas foram AUROC (área sob a curva da característica operativa do receptor) e AUPRC (área sob a curva de precisão e recuperação).

AUROC é um método de análise habitual nesses modelos, pois permite avaliar os diferentes limiares entre sensibilidade e especificidade. AUPRC é outra métrica importante que oferece informação complementar para dados não balanceados, quando o percentual de casos positivos é baixo.

Quais são as principais conclusões deste estudo de modelo de aprendizado a partir de notas clínicas?

A conclusão principal deste estudo é que é possível realizar predições diagnósticas de comprometimento cognitivo utilizando um modelo baseado nas notas clínicas. Esses pacientes podem estar nas primeiras etapas do comprometimento cognitivo, o que permitiria identificar sinais precoces nos registros eletrônicos de saúde.

O modelo desenvolvido para esse fim foi o melhor preditor para detectar pacientes que desenvolverão comprometimento cognitivo, sem depender dos dados estruturados. Embora o modelo de aprendizado profundo tenha sido o melhor, o modelo XGBoost também apresentou boas predições, e se coloca como uma alternativa mais simples caso não se disponha da tecnologia necessária.

Métricas AUROC e AUPRC

Para verificar esses resultados, podem-se observar as pontuações obtidas nas métricas AUROC e AUPRC nos conjuntos de dados 1 e 2 (ver tabelas 1 e 2, respectivamente). É especialmente notável que o modelo baseado em aprendizado profundo seja o melhor preditor em ambas as métricas.

No caso do AUROC, todos os valores são superiores a 0,9, sendo sempre o modelo de aprendizado profundo o que melhor prediz. Quanto ao AUPRC, isso é ainda mais evidente, pois esse modelo é o único que se mantém acima do valor 0,9.

As diferenças entre essas métricas reforçam a consistência dos resultados, uma vez que, enquanto o AUROC mostra a relação entre a taxa de verdadeiros positivos e falsos positivos, o AUPRC reflete a relação entre precisão e sensibilidade.

Em amostras desbalanceadas, a métrica AUROC pode ser menos conservadora com os falsos positivos, por isso a informação complementar do AUPRC permite confirmar o bom desempenho deste modelo.

Modelo	AUROC	AUPRC
Regressão logística	0,936	0,880
Random Forest	0,950	0,889
Máquina de Vetores de Suporte	0,939	0,883
XGBoost	0,953	0,882
Aprendizado profundo	0,971	0,933

Modelo	AUROC	AUPRC
Regressão logística	0,969	0,762
Random Forest	0,985	0,830
Máquina de Vetores de Suporte	0,954	0,723
XGBoost	0,988	0,898
Aprendizado profundo	0,997	0,929

Desempenho do modelo

Outro ponto que se destaca neste estudo é que o comprimento das notas pode afetar o desempenho do modelo; no entanto, mantendo conteúdo suficiente, demonstra-se que a classificação por seções pode ser viável.

Além disso, esse tipo de modelo poderia ser aplicado a outras patologias, embora seja importante considerar que a identificação de informações ambíguas ou complexas pode ser difícil.

Onde a NeuronUP poderia contribuir em um estudo como este?

NeuronUP poderia contribuir de diversas formas para um estudo como este, pois tem ampla trajetória trabalhando com grandes quantidades de dados.

Como se observa neste estudo, o manejo de grandes volumes de dados é um dos principais desafios ao trabalhar com notas clínicas. Portanto, a equipe da NeuronUP, que conta com especialistas tanto no âmbito clínico quanto na análise de dados, poderia realizar valiosas contribuições no processamento da informação, seja mediante o uso de palavras-chave ou sem elas. 

Por outro lado, este estudo destaca-se pela comparação de cinco modelos diferentes, o que confere robustez aos resultados obtidos para seu modelo. A experiência da equipe da NeuronUP também poderia ser útil no desenvolvimento de um modelo específico para esse propósito, ou na criação de modelos robustos para compará-los com o modelo desenvolvido.

Li Zhou.  Professora de medicina na Faculdade de Medicina de Harvard há mais de dez anos, e é pesquisadora principal no Brigham and Women’s Hospital. Possui doutorado em Informática Biomédica pela Universidade de Columbia, e sua pesquisa tem se concentrado em processamento de linguagem natural, gestão do conhecimento e apoio à tomada de decisões clínicas. Além disso, foi pesquisadora principal em inúmeros projetos de pesquisa financiados pela AHRQ, NIH e CRICO/RMF.

Bibliografia

• Wang L, Laurentiev J, Yang J, et al. Development and Validation of a Deep Learning Model for Earlier Detection of Cognitive Decline From Clinical Notes in Electronic Health Records. JAMA Netw Open. 2021;4(11):e2135174. doi:10.1001/jamanetworkopen.2021.35174

Se você gostou desta entrada do blog sobre o modelo de aprendizado profundo para a detecção precoce do declínio cognitivo a partir de notas clínicas em prontuários eletrônicos, certamente lhe interessarão estes artigos da NeuronUP: