Previsione dei risultati dei giocatori tramite TA-LSTM.

Elina Filatova, data scientist di NeuronUP, spiega in questo articolo come il modello Time-Aware LSTM (TA-LSTM) permette di prevedere con alta precisione i risultati degli utenti anche quando i loro dati vengono generati in modo irregolare.

In NeuronUP implementiamo attivamente i metodi di apprendimento automatico più avanzati che ci permettono di prevedere con alta precisione il comportamento degli utenti, individuare tendenze e prevedere risultati futuri basandoci sui loro dati storici.

Tuttavia, gli approcci tradizionali dell’apprendimento automatico incontrano difficoltà quando i dati vengono generati in modo irregolare e gli intervalli tra le osservazioni sono caotici o specifici per ogni utente. In tali casi, i modelli convenzionali diventano inefficaci, poiché non considerano il ritmo e la frequenza unici dell’attività di ciascuna persona.

Proprio per risolvere questo problema utilizziamo una versione speciale della rete neurale LSTM, denominata Time-Aware LSTM (TA-LSTM). Questo modello è in grado di considerare efficacemente gli intervalli temporali tra gli eventi, permettendo di prevedere serie temporali anche quando i dati sono irregolari.

Obiettivo dello studio e principali difficoltà

In NeuronUP disponiamo di metriche dell’utente provenienti da giorni precedenti, con l’obiettivo di prevedere i loro risultati la prossima volta che svolgeranno l’attività. A prima vista, questo potrebbe sembrare un compito semplice, ma nella pratica reale emergono diverse difficoltà importanti:

• Ritmo individuale degli utenti: Ogni utente ha un pattern unico di allenamento; alcuni giocano quotidianamente, altri settimanalmente, e alcuni possono fare pause prolungate fino a un mese, tornando inaspettatamente alle attività. Per esempio, Alex si allena in modo costante ogni giorno, mentre José preferisce intervalli settimanali. Se si mediassero i loro risultati senza considerare questa frequenza, si perderebbero dettagli cruciali.
• Varietà di attività e il loro impatto differenziale sugli utenti: Le attività in NeuronUP sono progettate per migliorare diverse funzioni cognitive come la memoria, l’attenzione e la logica, tra le altre. Ogni attività possiede un livello di difficoltà particolare che varia a seconda dell’utente. Ciò che risulta semplice per una persona, potrebbe rappresentare una grande sfida per un’altra.
• Focus sulle attività specifiche: Gli specialisti di NeuronUP determinano quali attività assegnare a ciascun utente. Per esempio, Carmen svolge regolarmente esercizi di memoria, logica e matematica, mentre Pablo preferisce esclusivamente esercizi di attenzione. Pertanto, il modello predittivo deve considerare il percorso personalizzato di ogni giocatore.

Naturalmente, tutte queste sfumature complicano sia il processo appropriato di preparazione dei dati sia l’addestramento stesso dei modelli di apprendimento automatico. Ignorare il ritmo individuale dei giocatori, i loro intervalli irregolari e i diversi livelli di difficoltà delle attività inevitabilmente conduce alla perdita di informazioni chiave. Di conseguenza, esiste il rischio di ottenere previsioni meno precise, il che a sua volta può ridurre l’efficacia delle raccomandazioni personalizzate in NeuronUP.

Soluzione: Time-Aware LSTM

Per superare efficacemente tutte le difficoltà menzionate in precedenza, il team dati di NeuronUP ha sviluppato una soluzione specifica basata sul modello personalizzato Time-Aware LSTM (TA-LSTM). Questa è una versione migliorata della rete neurale standard LSTM, che è in grado di considerare non solo gli eventi nelle serie temporali, ma anche gli intervalli di tempo tra essi.

Preparazione dei dati: perché la differenza temporale è così importante?

Il nostro modello riceve in input dati preparati in modo specifico. Ogni record è una matrice bidimensionale che contiene i risultati sequenziali di un giocatore, ordinati cronologicamente, così come gli intervalli di tempo in giorni tra ogni volta che ha svolto l’attività. Per capire perché è così importante considerare la differenza temporale, conosciamo due personaggi che ci aiuteranno a illustrare questo punto in modo chiaro.

Immaginiamo una maratona chiamata “Il più veloce e agile”, per la quale si stanno preparando due atleti:

• Neuronito – un atleta disciplinato e determinato. Non salta mai un allenamento, lavora su se stesso ogni giorno e cura meticolosamente la sua alimentazione. Neuronito progredisce costantemente: con ogni nuova sessione di allenamento diventa più veloce, resistente e sicuro di sé. Data la sua preparazione stabile, possiamo prevedere facilmente che avrà un’ottima prestazione nella maratona.

• Lentonito – un atleta talentuoso, ma meno disciplinato. I suoi allenamenti sono irregolari. Oggi si allena con entusiasmo, ma domani preferisce riposare godendosi la sua paella e un buon prosciutto. Queste sessioni incostanti generano fluttuazioni nelle sue prestazioni: a volte migliora, altre volte no, ma senza una crescita costante. È probabile che Lentonito arrivi al traguardo con risultati meno impressionanti.

In questo modo, abbiamo visto con un esempio semplice quanto influiscono gli intervalli di tempo tra eventi nei risultati finali. Proprio queste informazioni sulla stabilità e regolarità negli “allenamenti” sono quelle che forniamo al nostro modello. 

Se non considerassimo gli intervalli di tempo, il modello percepirebbe questi due atleti come uguali, senza notare la differenza nel loro approccio all’allenamento. Ma il TA-LSTM rileva questa caratteristica chiave, analizza gli intervalli individuali tra gli eventi e fa previsioni più accurate, tenendo conto del ritmo unico di ogni partecipante (o nel nostro caso in NeuronUP, dell’utente).

Ma non è tutto! Come avrai notato, abbiamo anche menzionato l’alimentazione di Neuronito e Lentonito. Non per caso, ma perché questi dati rappresentano caratteristiche aggiuntive che influenzano significativamente il risultato finale.

Analogamente, il nostro modello è in grado di considerare non solo gli intervalli di tempo, ma anche altre caratteristiche importanti, come l’età, il genere, la diagnosi e persino le preferenze degli utenti.

Questo permette di migliorare considerevolmente la precisione delle previsioni, proprio come nel nostro esempio con i protagonisti, dove abbiamo preso in considerazione il loro regime alimentare e la sua influenza sul successo.

Dettagli tecnici

Ora che abbiamo visto il concetto principale, passiamo all’aspetto tecnico del funzionamento del modello Time-Aware LSTM (TA-LSTM). Questo modello è una modifica della cella LSTM standard, progettata specificamente per tenere conto degli intervalli di tempo tra eventi sequenziali.

L’obiettivo principale del TA-LSTM è l’aggiornamento adattivo dello stato interno di memoria del modello in funzione del tempo trascorso dall’ultima osservazione. Questo approccio è cruciale quando si lavora con serie temporali irregolari, esattamente il tipo di dati con cui trattiamo in NeuronUP.

Il vettore di input all’istante di tempo t è rappresentato come:

[text{inputs}_{t} = [x_{t},,Delta t]]

Dove:

• (x_t in mathbb{R}^d) – è il vettore di caratteristiche che descrive l’evento corrente (ogni giorno in cui viene svolta l’attività).
• (Delta t in mathbb{R}) – è l’intervallo di tempo tra l’osservazione corrente e la precedente.

Gli stati precedenti del modello sono rappresentati nel modo standard:

[h_{t-1},; C_{t-1}]

Dove:

• (h_{t-1}) – è il vettore di stato nascosto nel passo precedente.
• (C_{t-1}) – è lo stato di memoria (cellula LSTM) nel passo precedente.

Per tenere conto dell’influenza dell’intervallo di tempo t, il modello utilizza un meccanismo speciale di attenuazione della memoria, descritto dalla seguente formula:

[gamma_t = e^{-text{RELU}(w_d cdot Delta t + b_d)}]

Dove:

• (w_d, ; b_d) – sono parametri addestrabili del modello.
• (text{RELU}(x) = max(0, x)) – è la funzione di attivazione che evita valori negativi.

Il coefficiente di attenuazione (gamma_t) controlla l’aggiornamento dello stato di memoria.

L’aggiornamento della memoria è definito come:

[bar{C}_{t-1} = gamma_t cdot C_{t-1}]

Ciò significa che quando l’intervallo di tempo aumenta, il valore tende a zero, il che provoca una maggiore “dimenticanza” degli stati di memoria precedenti.

Nel passaggio successivo, lo stato di memoria corretto (bar{C}_{t-1}) viene inserito nelle equazioni standard delle LSTM:

[h_t, ; C_t = text{LSTM}(x_{t’}, h_{t-1}, bar{C}_{t-1})]

I valori di output (h_t) e lo stato di memoria aggiornato (C_t) vengono utilizzati nel passo successivo del modello, garantendo una previsione precisa e la capacità di considerare intervalli di tempo irregolari tra gli eventi.

Perché utilizzare la previsione?

L’uso della previsione ci permette di anticipare con elevata precisione i risultati futuri di un paziente, analizzando preventivamente i suoi dati tramite il nostro modello personalizzato TA-LSTM. Per verificare la precisione delle previsioni, abbiamo preso un campione di dati di pazienti reali e applicato il modello basandoci sulle loro registrazioni di attività precedenti. L’ultimo giorno di attività di ciascun paziente è stato escluso dai dati per confrontare il risultato reale con la previsione generata dal modello.

Nella maggior parte dei casi, i risultati previsti dal nostro modello coincidevano strettamente con i valori reali dei giocatori. Tuttavia, abbiamo anche identificato alcune eccezioni interessanti in cui la previsione differiva significativamente dal risultato reale.

Ad esempio, nel grafico seguente (Immagine 1), si può osservare il progresso del paziente (linea blu) e la corrispondente previsione del modello (linea rossa). A prima vista, la differenza sembra piuttosto grande: il paziente ha mantenuto una prestazione alta e stabile per tutto il periodo di osservazione, ma il suo ultimo risultato è stato inaspettatamente molto più basso di quanto previsto. In questo caso, la previsione del modello sembrava molto più logica del risultato reale.

Perché è successo questo?

La ragione si è rivelata semplice ma importante: in tutti i giorni precedenti, il paziente ha giocato a livelli (fasi) più facili, ottenendo punteggi costantemente alti. Tuttavia, nell’ultimo giorno, ha scelto la fase 6, che era più difficile, il che ha provocato un calo notevole della sua prestazione (Immagine 2).

In questo modo, la previsione del modello ha permesso di riconoscere una deviazione inaspettata dal comportamento abituale del paziente, identificando che è stata causata da un aumento del livello di difficoltà.

Questo approccio fornisce ai professionisti di NeuronUP uno strumento potente per rilevare in tempo questo tipo di situazioni e analizzare rapidamente le cause delle deviazioni.

Conclusione

L’uso di Time-Aware LSTM apre nuove possibilità per la previsione precisa di serie temporali con intervalli irregolari. A differenza dei modelli tradizionali, TA-LSTM è in grado di adattarsi al ritmo unico di ogni giocatore, tenendo conto delle sue pause e degli intervalli di attività. Grazie a questo approccio, la nostra piattaforma di stimolazione cognitiva non solo può prevedere con precisione i risultati futuri dei pazienti, ma anche rilevare tempestivamente possibili anomalie o deviazioni inaspettate.

In NeuronUP valorizziamo il tuo tempo e cerchiamo sempre di applicare le tecnologie più efficaci, innovative e avanzate. Rimani aggiornato sulle nostre novità, il meglio deve ancora venire!

Bibliografia

• Lechner, Mathias, and Ramin Hasani. “Learning Long-Term Dependencies in Irregularly-Sampled Time Series.” arXiv preprint arXiv:2006.04418, vol. -, no. -, 2020, pp. 1-11.
• Michigan State University, et al. “Patient Subtyping via Time-Aware LSTM Networks.” Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’17), vol. -, no. -, 2017, pp. 65-74.
• Nguyen, An, et al. “Time Matters: Time-Aware LSTMs for Predictive Business Process Monitoring.” Lecture Notes in Business Information Processing, Process Mining Workshops​, vol. 406, no. -, 2021, pp. 112–123.
• Schirmer, Mona, et al. “Modeling Irregular Time Series with Continuous Recurrent Units.” Proceedings of the 39th International Conference on Machine Learning (ICML 2022)​, vol. 162, no. -, 2022, pp. 19388-19405.
• “Time aware long short-term memory.” Wikipedia, https://en.wikipedia.org/wiki/Time_aware_long_short-term_memory. Accessed 12 March 2025.

Se ti è piaciuto questo articolo sulla previsione dei risultati dei giocatori mediante TA-LSTM, sicuramente ti interesseranno questi articoli di NeuronUP: