Interpretabilidade de Desempenho e Pontuação no NeuronUP

Neste artigo, César Ortea Suárez (CTO & Software Architect na NeuronUP), Jorge M. Corada (Chief Product Officer na NeuronUP) e Jesús Cortés (Research Director na NeuronUP), Elina Maltseva (Data Leader na NeuronUP) e Marta Arbizu Gómez (Industrial PhD Student na NeuronUP) apresentam as diferenças entre o Performance e o Score na NeuronUP, como podem ser interpretados em conjunto e quais são suas aplicações na prática clínica.

Por que precisamos de duas métricas distintas?

Na reabilitação cognitiva digital, medir o desempenho do paciente não é tão simples quanto contar acertos ou erros. Uma pessoa pode responder com grande precisão nas primeiras fases de uma tarefa, mas ficar presa quando a dificuldade aumenta. Outra pode chegar longe na atividade, mas cometendo mais falhas.

Para capturar essas diferenças, NeuronUP emprega duas métricas complementares: Performance e Score. Ambas oferecem informação valiosa, mas seu verdadeiro potencial surge ao interpretá-las em conjunto.

O que é o Performance?

O Performance é uma métrica que mede a qualidade da execução global do usuário. Concretamente, reflete a proporção de acertos em relação ao total de tentativas realizadas (ou seja, somando acertos, erros e omissões).

A fórmula matemática que o define é a seguinte:

$\mathrm{Performance}=\frac{\sum {}_{p\in P}{C}_p}{\sum {}_{p\in P}(C_p+E_p+O_p)}$

Onde:

• Cp: acertos na fase p
• Ep: erros na fase p
• Op: omissões na fase p

Por ser um quociente entre acertos e o total de tentativas, seu valor situa-se sempre entre 0 e 1.

Na prática, um Performance próximo de 1 indica uma execução muito precisa, enquanto valores próximos de 0 refletem um baixo nível de acertos em relação às tentativas.

Por exemplo, um usuário que apenas resolve as fases iniciais, mas o faz com grande exatidão, pode obter um Performance alto, embora não avance para fases mais difíceis.

Interpretação clínica: o Performance informa sobre a exatidão global do paciente em qualquer fase, sem levar em conta o nível de dificuldade alcançado.

O que é o Score?

O Score é uma métrica que mede a habilidade e a expertise globais do usuário ao longo de uma atividade. Ao contrário do Performance, não avalia apenas a precisão das respostas, mas também a capacidade de progredir para fases mais complexas, atribuindo mais peso às fases avançadas e penalizando abandonos precoces.

A fórmula que o define é a seguinte:

$\mathrm{Score}{}_{\mathrm{Act}}=\frac{\sum {}_{p\in P}(S_p·\frac{p}{N})}{\sum {}_{p\in P}\frac{p}{N}}·\frac{\max {}_P}{N}·100$

Onde:

• Sp: score na fase p (valor entre 0 e 1)
• P: conjunto de fases concluídas
• N: número total de fases
• max⁡P: fase mais alta alcançada

Por construção, o Score sempre assume valores entre 0 e 100.

Em termos práticos, um Score alto significa que o usuário não apenas foi preciso, mas também conseguiu avançar até fases mais exigentes. Por exemplo, alguém que chega a fases avançadas, mesmo cometendo alguns erros, pode alcançar um Score elevado.

Interpretação clínica: o Score reflete a evolução completa do desempenho e é especialmente sensível ao rendimento em fases de maior dificuldade, o que o torna um indicador ideal para avaliar o progresso em intervenções neuropsicológicas.

Performance e Score: como interpretá-los juntos?

O verdadeiro valor dessas métricas aparece quando são analisadas em conjunto. Performance e Score não são excludentes, mas complementares, e sua combinação permite compreender melhor o perfil de desempenho do paciente. 

Como se reflete no Gráfico 1, existem quatro combinações possíveis entre ambos os parâmetros:

• Performance alto e Score baixo: indica que a pessoa responde com grande precisão, mas apenas em fases iniciais ou simples. Trata-se de um perfil que domina o básico, mas que ainda não consegue avançar para níveis mais complexos.
• Performance baixo e Score alto: reflete que o paciente chegou a fases avançadas, embora cometendo mais erros. Nesse caso, existe capacidade para enfrentar desafios difíceis, mas ainda há margem para melhorar a exatidão.
• Ambos altos: mostra um desempenho sólido e equilibrado, com execução precisa e consistente ao longo de toda a atividade.
• Ambos baixos: sinaliza dificuldades tanto para manter a exatidão quanto para progredir na atividade, o que pode orientar o profissional a ajustar a intervenção ou redesenhar a estratégia de trabalho.

Essa leitura conjunta torna o Performance e o Score em uma ferramenta poderosa para identificar pontos fortes e fracos de cada paciente, e para adaptar o plano terapêutico de forma personalizada.

Aplicações na prática clínica

O uso combinado do Performance e do Score traz grande valor no trabalho diário de profissionais de neuropsicologia e de reabilitação cognitiva.

Por um lado, o Performance permite adaptar a dificuldade das atividades em tempo real, ajustando-as à precisão que cada usuário demonstra em suas respostas. Isso garante que a tarefa não seja nem demasiado fácil nem excessivamente difícil, mantendo a motivação e o compromisso.

Por outro lado, o Score é especialmente útil para avaliar o progresso clínico ao longo do tempo. Comparar os valores obtidos antes e depois de uma intervenção neuropsicológica oferece uma medida objetiva do impacto da terapia, além da observação subjetiva.

Quando são interpretadas em conjunto, ambas as métricas fornecem uma visão integral do desempenho cognitivo: permitem personalizar os programas de estimulação, ajustar a progressão das atividades e monitorizar de forma precisa a evolução de cada paciente.

Conclusão

Interpretar corretamente o Performance e o Score é fundamental para aproveitar o potencial da reabilitação cognitiva digital. Enquanto o Performance reflete a exatidão na execução, o Score oferece uma visão da capacidade global e do progresso em direção a fases mais complexas.

Na NeuronUP, a combinação de ambas as métricas converte os dados em informação clínica significativa, facilitando decisões personalizadas e um acompanhamento mais preciso da evolução do paciente.

Se você gostou deste artigo sobre a interpretabilidade do Performance e do Score na NeuronUP, certamente se interessará por estes artigos da NeuronUP: