Modelo de aprendizado profundo para a detecção precoce do comprometimento cognitivo a partir de anotações clínicas em prontuários eletrônicos

Antonio Javier Sutil Jiménez fala neste artigo sobre os dados apresentados no estudo “Modelo de aprendizado profundo para a detecção precoce do declínio cognitivo a partir de notas clínicas em prontuários eletrônicos”.

Por que este estudo de modelo de aprendizado a partir de notas clínicas é importante?

Este estudo aborda a detecção precoce do declínio cognitivo em adultos, o que é fundamental para possibilitar intervenções terapêuticas bem-sucedidas, retardar o declínio, prevenir o desenvolvimento de doenças ou facilitar a inscrição de participantes em ensaios clínicos.

Doença de Alzheimer

A doença de Alzheimer é um tipo de demência que representa um grande problema em nível mundial. Esta doença foi diagnosticada em quase 6 milhões de pessoas nos Estados Unidos, e sua prevalência aumenta com a idade, de modo que se espera que o envelhecimento da população também aumente sua incidência nos próximos anos.

No entanto, além da doença de Alzheimer, o declínio cognitivo leve é um problema de grande relevância, que em muitos casos está associado ao desenvolvimento posterior de demência.

Declínio cognitivo subjetivo

Da mesma forma, recentemente foi criada a categoria de declínio cognitivo subjetivo. Esse termo refere-se à percepção do indivíduo de estar experimentando um declínio de suas capacidades cognitivas em comparação com seu estado anterior.

Embora esse rótulo não seja uma doença em si, identificou-se que as pessoas com essa condição podem estar em um estágio inicial de declínio cognitivo.

Detecção do declínio cognitivo

Embora grandes esforços estejam sendo feitos para melhorar os tratamentos para esses pacientes, a detecção do declínio cognitivo continua sendo um desafio, e a melhoria das ferramentas de detecção é necessária para que os tratamentos subsequentes sejam eficazes.

Ferramentas na atenção primária

Como o número de profissionais especializados para atender a população em risco é limitado, uma possível solução pode ser fornecer ferramentas aos médicos de atenção primária. Esses médicos não são especialistas em demência, mas têm contato direto com essa população, de modo que fornecer-lhes ferramentas para o diagnóstico se apresenta como uma solução viável.

Registros médicos eletrônicos

O uso dos registros médicos eletrônicos é proposto como uma alternativa adequada para a elaboração dessas ferramentas, já que eles registram o histórico de visitas dos pacientes em um sistema de atenção à saúde.

No entanto, é importante destacar a dificuldade de identificar os sinais de declínio cognitivo não associados à idade, que muitas vezes ficam documentados em avaliações cognitivas e nas preocupações dos pacientes registradas pelos profissionais de saúde. Embora tenham sido realizados estudos com as informações clínicas dos pacientes, poucas vezes se aprofundou no uso das notas clínicas dos registros médicos para esse fim.

Notas clínicas como recurso informativo

Neste estudo propõe-se o uso das notas clínicas como um recurso informativo que pode capturar informações que não são consideradas na maioria dos estudos. O fato de analisar manualmente as notas clínicas seria muito oneroso, por isso o objetivo do estudo foi desenvolver um modelo de detecção automático baseado em deep learning.

Portanto, o enfoque deste estudo é original e inovador ao utilizar as notas clínicas.

As notas clínicas são muito importantes para os históricos de saúde no âmbito clínico. No entanto, seu uso no âmbito científico tem sido limitado, fazendo com que sua aplicação para a detecção precoce do declínio cognitivo possa ser de grande interesse.

O que foi feito?

Base de dados

Para a realização deste estudo, foram utilizados dados de uma empresa de saúde privada, filtrando os pacientes por idade (deveriam ter mais de 50 anos) e pelo diagnóstico de declínio cognitivo leve. Especificamente, foram analisadas as notas clínicas dos 4 anos anteriores ao diagnóstico.

A definição de declínio cognitivo baseou-se na menção de sintomas, diagnóstico, avaliações cognitivas e tratamentos. Quando as notas indicavam progresso, episódios transitórios ou reversíveis, foram consideradas negativas para o declínio cognitivo.

Processamento das notas clínicas e desenvolvimento da base de dados

Inicialmente, devido ao tamanho das notas clínicas, utilizou-se um processador de linguagem natural para dividi-las em seções. Essa divisão permitiu identificar se cada seção indicava declínio cognitivo ou não.

Em seguida, foram identificadas palavras-chave selecionadas por especialistas, treinados para identificar seções que continham indícios de declínio cognitivo. Três anotadores etiquetaram as seções, e os conflitos foram resolvidos por meio de discussões com especialistas na área, alcançando um bom nível de concordância entre os anotadores.

Além disso, foi criado um conjunto de dados rotulado com 4.950 seções para treinar e testar vários algoritmos de aprendizado de máquina. Por fim, foram criadas duas bases de dados que seriam utilizadas para o desenvolvimento e validação do modelo.

Conjuntos de dados

O primeiro conjunto de dados, utilizado para o desenvolvimento do modelo, incluía somente seções com palavras-chave selecionadas. Esse conjunto de dados continha 4.950 seções anotadas, prontas para o desenvolvimento dos modelos de aprendizado de máquina.

O segundo conjunto de dados consistiu em 2.000 seções selecionadas aleatoriamente de todas as notas, excluindo as usadas no primeiro conjunto. Esse segundo conjunto foi utilizado para verificar a capacidade de generalização do modelo em seções de notas sem aplicar um filtro baseado em palavras-chave.

Desenvolvimento do modelo e validação

Para desenvolver o modelo, foi utilizada uma estrutura hierárquica de atenção baseada em deep learning que havia sido desenvolvida em um trabalho anterior, além de quatro algoritmos base de aprendizado de máquina: regressão logística, random forest, support vector machine e XGBoost.

O modelo previamente desenvolvido incorporava uma rede neural convolucional adaptada ao contexto, o que permitia lidar com variações de palavras e interpretar a predição por meio de camadas de atenção. Para obter mais informações sobre o modelo, recomenda-se consultar o artigo em questão e suas tabelas suplementares.

Interpretação da predição do modelo

Para interpretar a predição do modelo, foram identificadas as palavras com maior peso nas camadas de atenção utilizadas na predição. As palavras com peso relevante, ou seja, de pelo menos 2 desvios padrão acima da média, foram consideradas de alta atenção e comparadas com as palavras-chave originais selecionadas.

Por outro lado, para os modelos base, as seções foram representadas pela frequência de aparecimento de termos, e os algoritmos foram treinados e testados por meio de validação cruzada. Posteriormente, os resultados do modelo desenvolvido pelo grupo de pesquisa foram comparados com os 4 modelos base mencionados.

Comparação de métricas

As duas medidas usadas para a comparação das métricas foram AUROC (área sob a curva característica operativa do receptor) e AUPRC (área sob a curva de precisão e recall).

AUROC é um método de análise comum nesses modelos, já que permite avaliar os diferentes limiares entre sensibilidade e especificidade. AUPRC é outra métrica importante que oferece informações complementares para dados desbalanceados, quando o percentual de casos positivos é baixo.

Quais são as principais conclusões deste estudo de modelo de aprendizado a partir de notas clínicas?

A principal conclusão deste estudo é que é possível realizar predições diagnósticas de declínio cognitivo utilizando um modelo baseado nas notas clínicas. Esses pacientes podem estar nos estágios iniciais do declínio cognitivo, o que permitiria identificar sinais precoces nos registros eletrônicos de saúde.

O modelo desenvolvido para esse propósito foi o melhor preditor para detectar pacientes que desenvolverão declínio cognitivo, sem depender de dados estruturados. Embora o modelo de aprendizado profundo tenha sido o melhor, o modelo XGBoost também apresentou boas predições e se configura como uma alternativa mais simples caso não se disponha da tecnologia necessária.

Métricas AUROC e AUPRC

Para comprovar esses resultados, podem-se observar as pontuações obtidas nas métricas AUROC e AUPRC nos conjuntos de dados 1 e 2 (ver tabelas 1 e 2, respectivamente). É especialmente notável que o modelo baseado em deep learning seja o melhor preditor em ambas as métricas.

No caso de AUROC, todos os valores são superiores a 0.9, sendo sempre o modelo de deep learning o que melhor prediz. Quanto à AUPRC, isso fica ainda mais evidente, pois este modelo é o único que se mantém acima do valor 0.9.

As diferenças entre essas métricas reforçam a consistência dos resultados, pois, enquanto a AUROC mostra a relação entre taxa de verdadeiros positivos e falsos positivos, a AUPRC reflete a relação entre precisão e sensibilidade.

Em amostras desbalanceadas, a métrica AUROC pode ser menos conservadora com falsos positivos, de modo que a informação complementar da AUPRC permite confirmar o bom desempenho desse modelo.

Modelo	AUROC	AUPRC
Regressão logística	0.936	0.880
Random Forest	0.950	0.889
Support Vector Machine	0.939	0.883
XGBoost	0.953	0.882
Deep Learning	0.971	0.933

Modelo	AUROC	AUPRC
Regressão logística	0.969	0.762
Random Forest	0.985	0.830
Support Vector Machine	0.954	0.723
XGBoost	0.988	0.898
Deep Learning	0.997	0.929

Desempenho do modelo

Outro ponto que destaca este estudo é que o comprimento das notas pode afetar o desempenho do modelo; no entanto, mantendo conteúdo suficiente, demonstra-se que a classificação por seções pode ser viável.

Além disso, esse tipo de modelo pode ser aplicado a outras patologias, embora seja importante considerar que a identificação de informações ambíguas ou complexas pode ser difícil.

Onde a NeuronUP poderia contribuir em um estudo como este?

NeuronUP poderia contribuir de diversas formas a um estudo como este, pois possui ampla experiência trabalhando com grandes quantidades de dados.

Como se observa neste estudo, o manuseio de grandes volumes de dados é um dos principais desafios ao trabalhar com notas clínicas. Portanto, a equipe da NeuronUP, que conta com especialistas tanto na área clínica quanto em análise de dados, poderia realizar valiosas contribuições no processamento da informação, seja por meio do uso de palavras-chave ou sem elas.

Por outro lado, este estudo destaca-se pela comparação de cinco modelos diferentes, o que confere robustez aos resultados obtidos para seu modelo. A experiência da equipe da NeuronUP também poderia ser útil no design de um modelo específico para esse propósito ou na criação de modelos robustos para compará-los com o modelo desenvolvido.

Li Zhou. Professora de medicina na Faculdade de Medicina de Harvard há mais de dez anos e é a pesquisadora principal no Brigham and Women’s Hospital. Possui doutorado em Informática Biomédica pela Universidade de Columbia, e sua pesquisa tem se concentrado em processamento de linguagem natural, gestão do conhecimento e suporte à tomada de decisões clínicas. Além disso, foi investigadora principal em numerosos projetos de pesquisa financiados pela AHRQ, NIH e CRICO/RMF.

Bibliografia

• Wang L, Laurentiev J, Yang J, et al. Development and Validation of a Deep Learning Model for Earlier Detection of Cognitive Decline From Clinical Notes in Electronic Health Records. JAMA Netw Open. 2021;4(11):e2135174. doi:10.1001/jamanetworkopen.2021.35174

Se você gostou desta postagem no blog sobre o modelo de aprendizado profundo para a detecção precoce do declínio cognitivo a partir de notas clínicas em prontuários eletrônicos, certamente se interessará por estes artigos da NeuronUP: