Interpretabilidade de Desempenho e Pontuação no NeuronUP

Neste artigo, César Ortea Suárez (CTO & Software Architect na NeuronUP), Jorge M. Corada (Chief Product Officer na NeuronUP) e Jesús Cortés (Research Director na NeuronUP), Elina Maltseva (Data Leader na NeuronUP) e Marta Arbizu Gómez (Industrial PhD Student na NeuronUP) apresentam as diferenças entre o Performance e o Score na NeuronUP, como podem ser interpretados em conjunto e quais são suas aplicações na prática clínica.

Por que precisamos de duas métricas distintas?

Na reabilitação cognitiva digital, medir o desempenho do paciente não é tão simples como contar acertos ou erros. Uma pessoa pode responder com grande precisão nas primeiras fases de uma tarefa, mas ficar travada quando a dificuldade aumenta. Outra pode chegar longe na atividade, mas cometendo mais erros.

Para capturar essas diferenças, NeuronUP emprega duas métricas complementares: Performance e Score. Ambas oferecem informação valiosa, mas sua verdadeira potência surge ao interpretá-las juntas.

O que é o Performance?

O Performance é uma métrica que mede a qualidade de execução global do usuário. Concretamente, reflete a proporção de acertos em relação ao total de tentativas realizadas (ou seja, somando acertos, erros e omissões).

A fórmula matemática que a define é a seguinte:

$\mathrm{Performance}=\frac{\sum {}_{p\in P}{C}_p}{\sum {}_{p\in P}(C_p+E_p+O_p)}$

Onde:

• Cp​: acertos na fase p
• Ep​: erros na fase p
• Op: omissões na fase p

Por ser um quociente entre acertos e o total de tentativas, seu valor está sempre entre 0 e 1.

Na prática, um Performance próximo de 1 indica uma execução muito precisa, enquanto valores próximos de 0 refletem um baixo nível de acertos em relação às tentativas.

Por exemplo, um usuário que só resolve as fases iniciais, mas o faz com grande precisão, pode obter um Performance alto, mesmo sem avançar para fases mais difíceis.

Interpretação clínica: o Performance informa sobre a precisão global do paciente em qualquer fase, sem levar em conta o nível de dificuldade atingido.

O que é o Score?

O Score é uma métrica que mede a habilidade e expertise globais do usuário ao longo de uma atividade. Ao contrário do Performance, não apenas avalia a precisão das respostas, mas também a capacidade de progredir para fases mais complexas, atribuindo mais peso às fases avançadas e penalizando abandonos precoces.

A fórmula que o define é a seguinte:

$\mathrm{Score}{}_{\mathrm{Act}}=\frac{\sum {}_{p\in P}(S_p·\frac{p}{N})}{\sum {}_{p\in P}\frac{p}{N}}·\frac{\max {}_P}{N}·100$

Onde:

• Sp​: score na fase p (valor entre 0 e 1)
• P: conjunto de fases completadas
• N: número total de fases
• max⁡P: fase mais alta alcançada

Por construção, o Score sempre assume valores entre 0 e 100.

Em termos práticos, um Score alto significa que o usuário não apenas foi preciso, mas também conseguiu avançar até fases mais exigentes. Por exemplo, alguém que chega a fases avançadas, mesmo cometendo alguns erros, pode alcançar um Score elevado.

Interpretação clínica: o Score reflete a evolução completa do desempenho e é especialmente sensível ao rendimento em fases de maior dificuldade, o que o torna um indicador adequado para avaliar o progresso em intervenções neuropsicológicas.

Performance e Score: como interpretá-los juntos?

O verdadeiro valor dessas métricas aparece quando são analisadas em conjunto. Performance e Score não são excludentes, mas complementares, e sua combinação permite compreender melhor o perfil de desempenho do paciente. 

Como mostrado no Gráfico 1, existem quatro combinações possíveis entre ambos os parâmetros:

• Performance alto e Score baixo: indica que a pessoa responde com grande precisão, mas apenas em fases iniciais ou simples. Trata-se de um perfil que domina o básico, mas que ainda não consegue avançar para níveis mais complexos.
• Performance baixo e Score alto: reflete que o paciente chegou a fases avançadas, embora cometendo mais erros. Nesse caso, existe capacidade para enfrentar desafios difíceis, mas ainda com margem de melhoria na precisão.
• Ambos altos: mostra um desempenho sólido e equilibrado, com execução precisa e consistente ao longo de toda a atividade.
• Ambos baixos: indica dificuldades tanto para manter a precisão quanto para progredir na atividade, o que pode orientar o profissional a ajustar a intervenção ou redesenhar a estratégia de trabalho.

Essa leitura conjunta transforma o Performance e o Score em uma ferramenta poderosa para identificar forças e fraquezas de cada paciente e para adaptar o plano terapêutico de forma personalizada.

Aplicações na prática clínica

O uso combinado do Performance e do Score traz grande valor no trabalho diário de profissionais de neuropsicologia e reabilitação cognitiva.

Por um lado, o Performance permite adaptar a dificuldade das atividades em tempo real, ajustando-as à precisão que cada usuário demonstra em suas respostas. Isso garante que a tarefa não seja nem demasiado fácil nem excessivamente difícil, mantendo a motivação e o compromisso.

Por outro lado, o Score é especialmente útil para avaliar o progresso clínico ao longo do tempo. Comparar os valores obtidos antes e depois de uma intervenção neuropsicológica oferece uma medida objetiva do impacto da terapia, além da observação subjetiva.

Quando interpretadas em conjunto, ambas as métricas proporcionam uma visão integral do desempenho cognitivo: permitem personalizar os programas de estimulação, ajustar a progressão das atividades e monitorar de forma precisa a evolução de cada paciente.

Conclusão

Interpretar corretamente o Performance e o Score é fundamental para aproveitar o potencial da reabilitação cognitiva digital. Enquanto o Performance reflete a precisão na execução, o Score traz uma visão da capacidade global e do progresso em direção a fases mais complexas.

Na NeuronUP, a combinação de ambas as métricas transforma os dados em informação clínica significativa, facilitando decisões personalizadas e um acompanhamento mais preciso da evolução do paciente.

Se você gostou deste artigo sobre a interpretabilidade do Performance e do Score na NeuronUP, certamente lhe interessarão estes artigos da NeuronUP: