{"id":32297,"date":"2024-08-27T08:38:00","date_gmt":"2024-08-27T06:38:00","guid":{"rendered":"https:\/\/neuronup.com\/?p=32297"},"modified":"2024-08-27T08:38:00","modified_gmt":"2024-08-27T06:38:00","slug":"q-learning-dagli-esperimenti-di-pavlov-alla-moderna-neuroriabilitazione","status":"publish","type":"post","link":"https:\/\/neuronup.com\/it\/ricerca\/linee-di-ricerca\/q-learning-dagli-esperimenti-di-pavlov-alla-moderna-neuroriabilitazione\/","title":{"rendered":"Q-learning: dagli esperimenti di Pavlov alla neuro-riabilitazione moderna"},"content":{"rendered":"\n<p class=\"has-xl-font-size wp-block-paragraph\"><em>Il Q-learning (apprendimento Q in spagnolo) si \u00e8 evoluto notevolmente dai primi esperimenti comportamentali come il <\/em><strong><em>condizionamento classico di Pavlov,<\/em><\/strong><em> fino a diventare una delle tecniche pi\u00f9 importanti nell&#8217;ambito del Machine Learning (apprendimento automatico). Di seguito, esploreremo come \u00e8 stato il suo sviluppo e&nbsp;la sua applicazione nella neuroriabilitazione e stimolazione cognitiva.<\/em><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Gli esperimenti di Pavlov<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ivan Pavlov, un fisiologo russo della fine del XIX secolo, \u00e8 riconosciuto per aver stabilito le basi della <strong>psicologia <\/strong>comportamentale attraverso i suoi esperimenti sul <strong>condizionamento classico<\/strong>. In questi esperimenti, Pavlov dimostr\u00f2 che i cani potevano imparare ad associare uno stimolo neutro, come il suono di una campana, con uno stimolo incondizionato, come il cibo, provocando cos\u00ec una risposta incondizionata: la salivazione.<\/p>\n\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n<div class=\"wp-block-image image-interface\">\n<figure class=\"aligncenter size-large is-resized\"><img decoding=\"async\" width=\"1024\" height=\"640\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-experimento-pavlov-1024x640.webp\" alt=\"Diagrama del experimento de Pavlov: perro, comida y campana, ilustrando condicionamiento cl\u00e1sico.\" class=\"wp-image-32300\" style=\"width:800px;height:auto\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-experimento-pavlov-300x187.webp 300w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-experimento-pavlov-768x480.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-experimento-pavlov-1024x640.webp 1024w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-experimento-pavlov.webp 1306w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\">Esperimenti di Pavlov. NeuronUP.<\/figcaption><\/figure>\n<\/div>\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Questo esperimento fu fondamentale per dimostrare che il comportamento pu\u00f2 essere acquisito per associazione, un concetto cruciale che successivamente influenz\u00f2 lo sviluppo delle teorie di <strong>apprendimento per rinforzo<\/strong>.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Le teorie dell&#8217;apprendimento per rinforzo<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Queste teorie si concentrano su come gli esseri umani e gli animali apprendono comportamenti a partire dalle conseguenze delle loro azioni, il che \u00e8 stato essenziale per la progettazione di algoritmi come il<strong> Q-learning<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ci sono alcuni concetti chiave con cui dobbiamo familiarizzare prima di continuare:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Agente: <\/strong>responsabile di eseguire l&#8217;azione.<\/li>\n\n\n\n<li><strong>Ambiente: <\/strong>contesto in cui l&#8217;agente si muove e interagisce.&nbsp;<\/li>\n\n\n\n<li><strong>Stato:<\/strong> situazione attuale dell&#8217;ambiente.&nbsp;<\/li>\n\n\n\n<li><strong>Azione:<\/strong> possibili decisioni prese dall&#8217;agente.<\/li>\n\n\n\n<li><strong>Ricompensa: <\/strong>premi assegnati all&#8217;agente.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">In questo tipo di apprendimento, un agente prende o esegue azioni nell&#8217;ambiente, riceve informazioni sotto forma di ricompensa\/penalizzazione e le utilizza per adattare il suo comportamento nel tempo.<\/p>\n\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n<div class=\"wp-block-image image-interface\">\n<figure class=\"aligncenter size-large\"><img decoding=\"async\" width=\"1024\" height=\"597\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-teoria-aprendizaje-por-refuerzo-1024x597.webp\" alt=\"Diagrama de aprendizaje por refuerzo Q-learning para neurorrehabilitaci\u00f3n: agente, entorno, estados, acciones y recompensas.\" class=\"wp-image-32301\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-teoria-aprendizaje-por-refuerzo-300x175.webp 300w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-teoria-aprendizaje-por-refuerzo-768x448.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-teoria-aprendizaje-por-refuerzo-1024x597.webp 1024w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-teoria-aprendizaje-por-refuerzo.webp 1344w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\">Teoria dell&#8217;apprendimento per rinforzo. NeuronUP.<\/figcaption><\/figure>\n<\/div>\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Un esperimento classico dell&#8217;apprendimento per rinforzo \u00e8 l&#8217;esperimento della <strong>gabbia di Skinner<\/strong>, realizzato dallo psicologo statunitense Burrhus Frederic Skinner nel 1938. In questo esperimento, Skinner dimostr\u00f2 che i ratti potevano imparare a premere una leva per ottenere cibo, utilizzando il rinforzo positivo come mezzo per modellare il comportamento.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L&#8217;esperimento consiste nell&#8217;introdurre un ratto in una gabbia con una leva che pu\u00f2 premere, un distributore di cibo e, talvolta, una luce e un altoparlante.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ogni volta che il ratto preme la leva, un granello di cibo viene rilasciato nel distributore. Il cibo agisce come rinforzo positivo, una ricompensa per premere la leva. Con il tempo, il ratto inizier\u00e0 a premere la leva pi\u00f9 frequentemente, dimostrando di aver appreso il comportamento tramite il rinforzo.<\/p>\n\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n<div class=\"wp-block-image image-interface\">\n<figure class=\"aligncenter size-large\"><img decoding=\"async\" width=\"1024\" height=\"512\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-caja-de-skinner-1024x512.webp\" alt=\"Ilustraci\u00f3n de una caja de Skinner con altavoz, luces, palanca y comedero, en entorno de neurorrehabilitaci\u00f3n cognitiva.\" class=\"wp-image-32302\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-caja-de-skinner-300x150.webp 300w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-caja-de-skinner-768x384.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-caja-de-skinner-1024x512.webp 1024w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-caja-de-skinner.webp 1440w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\">La gabbia di Skinner. NeuronUP.<\/figcaption><\/figure>\n<\/div>\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Questo tipo di apprendimento ha servito come base per algoritmi di <strong>machine learning,<\/strong> come il <strong>Q-learning<\/strong>, che permette alle macchine di apprendere comportamenti ottimali in modo autonomo mediante il metodo di prova ed errore.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Cos&#8217;\u00e8 il Q-learning?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Il Q-learning \u00e8 stato introdotto da <strong>Christopher Watkins <\/strong>nel 1989 come algoritmo di apprendimento per rinforzo. Questo algoritmo consente a un agente di apprendere il valore delle azioni in uno stato determinato, aggiornando continuamente la sua conoscenza attraverso l&#8217;esperienza, proprio come il ratto nella gabbia di Skinner.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A differenza degli esperimenti di Pavlov, nei quali l&#8217;apprendimento si basava su associazioni semplici, il Q-learning utilizza un metodo pi\u00f9 complesso di prova ed errore. L&#8217;agente esplora diverse azioni e aggiorna una <strong>tabella<\/strong> <strong>Q<\/strong> che memorizza i valori Q, i quali rappresentano le ricompense future attese prendendo la migliore azione in uno stato specifico.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il Q-learning si applica in vari ambiti, come ad esempio nei sistemi di raccomandazione (come quelli utilizzati da Netflix o Spotify), nei veicoli autonomi (come droni o robot) e nell&#8217;ottimizzazione delle risorse. Ora esploreremo come questa tecnologia pu\u00f2 essere applicata nella neuroriabilitazione.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Q-learning e NeuronUP<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Uno dei vantaggi di <strong>NeuronUP, <\/strong>\u00e8 la capacit\u00e0 di personalizzare le attivit\u00e0 in base alle esigenze specifiche di ogni utente. Tuttavia, personalizzare ogni attivit\u00e0 pu\u00f2 essere noioso a causa dell&#8217;elevato numero di parametri da regolare.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il Q-learning permette di automatizzare questo processo, regolando i parametri in funzione delle prestazioni dell&#8217;utente nelle diverse attivit\u00e0. Ci\u00f2 garantisce che gli esercizi siano sfidanti ma raggiungibili, migliorando l&#8217;efficacia e la motivazione durante la riabilitazione.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Come funziona?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">In questo contesto, l&#8217;agente, che potrebbe essere paragonato a un utente che interagisce con un&#8217;attivit\u00e0, impara a prendere decisioni ottimali in diverse situazioni per superare correttamente l&#8217;attivit\u00e0.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il Q-learning permette all&#8217;agente di sperimentare con diverse azioni interagendo con il suo ambiente, ricevendo ricompense o penalit\u00e0, e aggiornando una tabella Q che memorizza questi valori Q. Questi valori rappresentano le ricompense future attese prendendo la migliore azione in uno stato specifico.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La regola di aggiornamento del Q-learning \u00e8 la seguente:<\/p>\n\n\n\n[Q(s,a) leftarrow Q(s,a) + alphabigl(r + gamma cdot max_{a&#8217;}bigl(Q(s&#8217;,a&#8217;)bigr) &#8211; Q(s,a)bigr)]\n\n\n\n<p class=\"wp-block-paragraph\">Dove:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\ud835\udec2 &#8211; \u00e8 il tasso di apprendimento.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>r<\/strong> &#8211; \u00e8 la ricompensa ricevuta dopo aver eseguito l&#8217;azione <strong>a<\/strong> dallo stato <strong>s.<\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\ud835\udec4 &#8211; \u00e8 il fattore di sconto, che rappresenta l&#8217;importanza delle ricompense future.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>s\u2019<\/strong> &#8211; \u00e8 lo stato successivo.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">(max_{a&#8217;}bigl(Q(s&#8217;,a&#8217;)bigr)) &#8211; \u00e8 il valore Q massimo per lo stato successivo <strong>s\u2019<\/strong>.<\/p>\n\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<div class=\"wp-block-group br-0111 has-primary-background-color has-background has-dark-background has-sm-padding-top has-sm-padding-left has-sm-padding-right has-xxl-margin-top\"><div class=\"wp-block-group__inner-container is-layout-constrained wp-block-group-is-layout-constrained\">\n<div class=\"wp-block-columns is-layout-flex wp-container-core-columns-is-layout-8f761849 wp-block-columns-is-layout-flex\">\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<figure class=\"wp-block-image size-full desktop-position-absolute desktop-bottom-0 mobile-width-50 mobile-m-inline-auto has-xl-margin-top\"><img decoding=\"async\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2022\/v3\/producto-certificado.webp\" alt=\"\" class=\"wp-image-31568\"><\/figure>\n<\/div>\n\n\n\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<h2 class=\"wp-block-heading has-white-color has-text-color\"><strong>Iscriviti<\/strong> <br>alla nostra <br>Newsletter<\/h2>\n\n\n\n<div class=\"wp-block-buttons is-layout-flex wp-block-buttons-is-layout-flex\">\n<div class=\"wp-block-button--1\" style=\"--button-outline-color:var(--color-white);--button-outline-color-hover:rgba(0,0,0,0.8);\"><a class=\"wp-block-button__link button button-outline   wp-element-button\" href=\"https:\/\/neuronup.com\/it\/newsletter\/\">Iscriviti<\/a><\/div>\n\n<\/div>\n\n\n\n<div style=\"height:40px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n<\/div>\n<\/div>\n<\/div><\/div>\n\n\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h3 class=\"wp-block-heading\">Esempio di applicazione in un&#8217;attivit\u00e0 di NeuronUP<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Prendiamo l&#8217;attivit\u00e0 di NeuronUP chiamata &#8220;Immagini disordinate&#8221;, che lavora abilit\u00e0 come la pianificazione, le prassie visoconnettive e la relazione spaziale. In questa attivit\u00e0, l&#8217;obiettivo \u00e8 risolvere un rompicapo che \u00e8 stato mescolato e tagliato in pezzi.&nbsp;<\/p>\n\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n<div class=\"wp-block-image image-interface\">\n<figure class=\"aligncenter size-large is-resized\"><img decoding=\"async\" width=\"1024\" height=\"576\" src=\"https:\/\/neuronup.com\/wp-content\/uploads\/2021\/09\/Actividades-NeuronUP-Imagenes-revueltas-Musicos-1024x576.webp\" alt=\"Collage musicale di riabilitazione cognitiva per bambini con ADHD: bassista con occhiali, sassofonista e note fluttuanti.\" class=\"wp-image-45487\" style=\"width:800px;height:auto\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2021\/09\/Actividades-NeuronUP-Imagenes-revueltas-Musicos-300x169.webp 300w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2021\/09\/Actividades-NeuronUP-Imagenes-revueltas-Musicos-768x432.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2021\/09\/Actividades-NeuronUP-Imagenes-revueltas-Musicos-1024x576.webp 1024w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2021\/09\/Actividades-NeuronUP-Imagenes-revueltas-Musicos.webp 1200w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\">Attivit\u00e0 di NeuronUP &#8220;Immagini disordinate&#8221;. NeuronUP.<\/figcaption><\/figure>\n<\/div>\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Le variabili che definiscono la difficolt\u00e0 di questa attivit\u00e0 sono la dimensione della matrice (il numero di righe e di colonne) cos\u00ec come il valore del disordine dei pezzi (basso, medio, alto o molto alto).&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Per allenare l&#8217;agente a risolvere il puzzle, \u00e8 stata creata una <strong>matrice delle ricompense<\/strong> basata sul numero minimo di mosse necessarie per risolverlo, definito dalla seguente formula:<\/p>\n\n\n\n[mathrm{Min_Attempts} ;=;leftlceil frac{mathrm{factor} * mathrm{rows} * mathrm{columns}}{5}rightrceil,quad mathrm{factor}in{1,3,5,7}]\n\n\n\n<p class=\"wp-block-paragraph\">La variabile factor dipende dalla variabile del disordine. Una volta creata la matrice, \u00e8 stato applicato un algoritmo di Q-learning per allenare l&#8217;agente a risolvere automaticamente il puzzle.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Questa integrazione include:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Recupero del valore Q:<\/strong> La funzione recupera il valore Q per una coppia stato-azione dalla tabella Q. Se la coppia stato-azione non \u00e8 stata addestrata prima, restituisce 0. Questa funzione cerca la ricompensa attesa prendendo una specifica azione in uno specifico stato.<\/li>\n\n\n\n<li><strong>Aggiornamento del valore Q: <\/strong>La funzione aggiorna il valore Q per una coppia stato-azione basandosi sulla ricompensa ricevuta e sul valore Q massimo del prossimo stato. Questa funzione implementa la regola di aggiornamento del Q-learning menzionata in precedenza.<\/li>\n\n\n\n<li><strong>Decisione sull&#8217;azione da intraprendere:<\/strong> La funzione decide quale azione intraprendere in un dato stato, usando una strategia <strong>epsilon-greedy<\/strong>. Questa strategia bilancia esplorazione ed sfruttamento:&nbsp;\n<ul class=\"wp-block-list\">\n<li><strong>Esplorazione: <\/strong>Consiste nel selezionare la migliore azione conosciuta fino a quel momento. Con una probabilit\u00e0 \u03b5 (tasso di esplorazione, un valore tra 0 e 1 che determina la probabilit\u00e0 di esplorare nuove azioni invece di sfruttare le azioni conosciute), si sceglie un&#8217;azione casuale, permettendo all&#8217;agente di scoprire azioni potenzialmente migliori.&nbsp;<\/li>\n\n\n\n<li><strong>&nbsp;Sfruttamento:<\/strong> Consiste nel provare azioni diverse da quelle migliori conosciute per scoprire se possono offrire ricompense migliori in futuro. Con una probabilit\u00e0 1\u2212\u03b5, l&#8217;agente seleziona l&#8217;azione con il valore Q pi\u00f9 alto per lo stato attuale, utilizzando la sua conoscenza appresa: <em>a&#8217; = argmaxaQ(s,a).<\/em> Dove <strong>a\u2019<\/strong> \u00e8 l&#8217;azione che massimizza la funzione <strong>Q<\/strong> in un dato stato <strong>s<\/strong> dato. Ci\u00f2 significa che, dato uno stato <strong>s<\/strong>, seleziona l&#8217;azione a che ha il valore <strong>Q<\/strong> pi\u00f9 alto.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Queste funzioni lavorano insieme per permettere all&#8217;algoritmo di Q-learning di sviluppare una strategia ottimale per risolvere il puzzle.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Analisi preliminare dell&#8217;esecuzione dell&#8217;algoritmo <\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">L&#8217;algoritmo \u00e8 stato applicato a un puzzle con matrice 2&#215;3 con un fattore di difficolt\u00e0 di&nbsp; 1 (basso), corrispondente a un numero minimo di tentativi pari a 2. L&#8217;algoritmo \u00e8 stato eseguito sullo stesso puzzle 20 volte, applicando ogni volta la stessa configurazione di mescolamento e aggiornando la tabella Q dopo ogni passo. Dopo 20 esecuzioni, il puzzle \u00e8 stato mescolato in una configurazione diversa e il processo si \u00e8 ripetuto, risultando in un totale di 2000 iterazioni. I valori iniziali dei parametri erano:&nbsp;<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Ricompensa per risolvere il puzzle: 100 punti&nbsp;<\/li>\n\n\n\n<li>Penalizzazione per ogni mossa: -1 punto<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Ad ogni passo veniva applicata una ricompensa o penalizzazione aggiuntiva basata sul numero di tessere corrette, permettendo all&#8217;agente di comprendere il suo progresso verso la soluzione del puzzle. Questo veniva calcolato utilizzando la formula:<\/p>\n\n\n\n[W times bigl(N_{mathrm{correct}}^i ;-; N_{mathrm{correct}}^{,i-1}bigr)]\n\n\n\n<p class=\"wp-block-paragraph\">Dove:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>W \u00e8 il fattore di peso.<\/li>\n\n\n\n<li>(N_{mathrm{correct}}^{,i}) \u00e8 il numero di tessere corrette dopo la mossa.<\/li>\n\n\n\n<li>(N_{mathrm{correct}}^{,i-1}) \u00e8 il numero di tessere corrette prima della mossa.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Il grafico qui sotto illustra il numero di mosse necessarie per iterazione affinch\u00e9 il modello risolva un puzzle di dimensione 2&#215;3. All&#8217;inizio, il modello richiede un gran numero di mosse, il che riflette la sua mancanza di conoscenza su come risolvere il puzzle in modo efficiente. Tuttavia, man mano che l&#8217;algoritmo di Q-learning viene addestrato, si osserva una tendenza al ribasso nel numero di mosse, il che suggerisce che il modello sta imparando a ottimizzare il suo processo di risoluzione.<\/p>\n\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n<div class=\"wp-block-image image-interface\">\n<figure class=\"aligncenter size-large\"><img decoding=\"async\" width=\"1024\" height=\"512\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-rendimiento-q-learning-1024x512.webp\" alt=\"Grafico delle prestazioni del Q-learning nella neuroriabilitazione con tre linee (blu, verde e gialla) che mostrano mosse e iterazioni.\" class=\"wp-image-32304\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-rendimiento-q-learning-300x150.webp 300w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-rendimiento-q-learning-768x384.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-rendimiento-q-learning-1024x512.webp 1024w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-rendimiento-q-learning.webp 1200w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\">Prestazioni del Q-learning. NeuronUP.<\/figcaption><\/figure>\n<\/div>\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<p class=\"has-text-align-center wp-block-paragraph\"><img decoding=\"async\" src=\"https:\/\/lh7-qw.googleusercontent.com\/docsz\/AD_4nXcBZ87Nq6EsZMfGfT7bIVHRcL25mCmThP2EVJqioz5Ko31rdgVykRZyTH_Uy_LeWoEB2VWm_H__mXFvnHkcf7Q35gzH5tCNCLOyx0_7qM3aROpnatJx7A0-C9YVQfSPN7tVlWnQHgak_QoY0Jba9QHrHJlN?key=G7hgX90qImBR1nHgSgs_dw\" width=\"396\" height=\"396\"><\/p>\n\n\n\n<div style=\"height:50px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Questa tendenza \u00e8 un segnale positivo del potenziale dell&#8217;algoritmo di migliorare nel tempo. Tuttavia, devono essere considerate diverse limitazioni importanti:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Dimensione specifica del puzzle<\/strong>: L&#8217;algoritmo dimostra efficacia principalmente nei puzzle di una dimensione specifica, come la matrice 2&#215;3. Cambiando la dimensione o la complessit\u00e0 del puzzle, le prestazioni dell&#8217;algoritmo possono diminuire significativamente.<\/li>\n\n\n\n<li><strong>Tempo di calcolo<\/strong>: Quando l&#8217;algoritmo viene applicato a configurazioni diverse o pi\u00f9 complesse, il tempo necessario per eseguire i calcoli e risolvere il puzzle aumenta considerevolmente. Ci\u00f2 limita la sua applicabilit\u00e0 in situazioni che richiedono risposte rapide o in puzzle con una maggiore complessit\u00e0.<\/li>\n\n\n\n<li><strong>Numero di mosse ancora elevato<\/strong>: Nonostante il miglioramento osservato, il numero di mosse richieste per risolvere il puzzle rimane relativamente alto, anche dopo molteplici iterazioni. Nelle ultime esecuzioni, il modello richiede una media di 8 a 10 mosse, il che indica che c&#8217;\u00e8 ancora margine per migliorare l&#8217;efficienza dell&#8217;apprendimento.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Queste limitazioni sottolineano la necessit\u00e0 di un ulteriore affinamento dell&#8217;algoritmo, sia regolando i parametri di apprendimento, migliorando la struttura del modello o incorporando tecniche complementari che consentano un apprendimento pi\u00f9 efficiente e adattabile a diverse configurazioni di puzzle. Nonostante queste limitazioni, non dobbiamo dimenticare i vantaggi che il Q-learning offre nella neuroriabilitazione, tra cui:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Personalizzazione dinamica delle attivit\u00e0<\/strong>: Il Q-learning \u00e8 in grado di regolare automaticamente i parametri delle attivit\u00e0 terapeutiche in base alle prestazioni individuali dell&#8217;utente. Ci\u00f2 significa che le attivit\u00e0 possono essere personalizzate in tempo reale, assicurando che ogni utente lavori a un livello che sia sfidante ma raggiungibile. Questo \u00e8 particolarmente utile nella neuroriabilitazione, dove le capacit\u00e0 degli utenti possono variare considerevolmente e cambiare nel tempo.<\/li>\n\n\n\n<li><strong>Un aumento della motivazione e dell&#8217;impegno<\/strong>: Man mano che le attivit\u00e0 si adattano costantemente al livello di abilit\u00e0 dell&#8217;utente, si evita la frustrazione per compiti troppo difficili o la noia per compiti troppo semplici. Questo pu\u00f2 aumentare significativamente la motivazione dell&#8217;utente e il suo coinvolgimento nel programma di riabilitazione, il che \u00e8 cruciale per ottenere risultati di successo.<\/li>\n\n\n\n<li><strong>Ottimizzazione del processo di apprendimento<\/strong>: Utilizzando il Q-learning, il sistema pu\u00f2 apprendere dalle interazioni precedenti dell&#8217;utente con le attivit\u00e0, ottimizzando il processo di apprendimento e riabilitazione. Ci\u00f2 consente che gli esercizi siano pi\u00f9 efficaci, concentrandosi sulle aree in cui l&#8217;utente necessita di maggiore attenzione e riducendo il tempo necessario per raggiungere gli obiettivi terapeutici.<\/li>\n\n\n\n<li><strong>Efficacia nelle decisioni cliniche<\/strong>: I professionisti possono beneficiare del Q-learning ottenendo raccomandazioni basate sui dati su come adattare le terapie. Ci\u00f2 facilita decisioni cliniche pi\u00f9 informate e precise, migliorando a sua volta la qualit\u00e0 dell&#8217;assistenza fornita all&#8217;utente.<\/li>\n\n\n\n<li><strong>Miglioramento continuo<\/strong>: Nel tempo, il sistema basato sul Q-learning pu\u00f2 migliorare le sue prestazioni attraverso l&#8217;accumulo di dati e l&#8217;esperienza dell&#8217;utente. Ci\u00f2 significa che, quanto pi\u00f9 viene utilizzato il sistema, pi\u00f9 efficace diventa nella personalizzazione e ottimizzazione degli esercizi, offrendo cos\u00ec un vantaggio a lungo termine nel processo di neuroriabilitazione.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">In conclusione, il Q-learning \u00e8 evoluto dalle sue radici nella psicologia comportamentale fino a diventare uno strumento potente nell&#8217;intelligenza artificiale e nella neuroriabilitazione. La sua capacit\u00e0 di adattare le attivit\u00e0 in modo autonomo lo rende una risorsa preziosa per migliorare l&#8217;efficacia delle terapie di riabilitazione, anche se esistono ancora sfide da superare per ottimizzarne completamente l&#8217;applicazione.<\/p>\n\n<h2 class=\"wp-block-heading\">Bibliografia<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li class=\"has-sm-font-size\">Bermejo Fern\u00e1ndez, E. (2017). Applicazione di algoritmi di reinforcement learning ai giochi.<\/li>\n\n\n\n<li class=\"has-sm-font-size\">Gir\u00f3 Gr\u00e0cia, X., &amp; Sancho Gil, J. M. (2022). L&#8217;intelligenza artificiale nell&#8217;educazione: Big data, scatole nere e soluzionismo tecnologico.<\/li>\n\n\n\n<li class=\"has-sm-font-size\">Meyn, S. (2023). Stability of Q-learning through design and optimism. arXiv preprint arXiv:2307.02632.<\/li>\n\n\n\n<li class=\"has-sm-font-size\">Morinigo, C., &amp; Fenner, I. (2021). Teorie dell&#8217;apprendimento. Minerva Magazine of Science, 9(2), 1-36.<\/li>\n\n\n\n<li class=\"has-sm-font-size\">M.-V. Aponte, G. Levieux e S. Natkin. (2009). Measuring the level of difficulty in single player video games. Entertainment Computing.<\/li>\n\n\n\n<li class=\"has-sm-font-size\">P. Jan L., H. Bruce D., P. Shashank, B. Corinne J., &amp; M. Andrew P. (2019). The Effect of Adaptive Difficulty Adjustment on the Effectiveness of a Game to Develop Executive Function Skills for Learners of Different Ages. Cognitive Development, pp. 49, 56\u201367.<\/li>\n\n\n\n<li class=\"has-sm-font-size\">R. Anna N., Z. Matei &amp; G. Thomas L. Optimally Designing Games for Cognitive Science Research. Computer Science Division and Department of Psychology, University of California, Berkeley.<\/li>\n\n\n\n<li class=\"has-sm-font-size\">Toledo S\u00e1nchez, M. (2024). Applicazioni dell&#8217;apprendimento per rinforzo nei videogiochi. <\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">Se ti \u00e8 piaciuto questo articolo sul <strong>Q-learning<\/strong>, probabilmente ti interesseranno questi articoli di NeuronUP:<\/h3>\n\n\n\n<div class=\"mai-grid entries entries-grid has-boxed has-image-full\" style=\"--entry-title-font-size:var(--font-size-lg);--align-text:start;--entry-meta-text-align:start;\"><div class=\"entries-wrap has-columns\" style=\"--columns-xs:1 \/ 1;--columns-sm:1 \/ 1;--columns-md:1 \/ 3;--columns-lg:1 \/ 3;--flex-xs:0 0 var(--flex-basis);--flex-sm:0 0 var(--flex-basis);--flex-md:0 0 var(--flex-basis);--flex-lg:0 0 var(--flex-basis);--column-gap:var(--spacing-lg);--row-gap:var(--spacing-lg);--align-columns:start;\"><article class=\"entry entry-grid is-column has-entry-link has-image has-image-first type-post category-psicologia tag-problemas-de-conducta tag-psicologia tag-salud-mental\" style=\"--entry-index:1;\" aria-label=\"Problemi di comportamento e metodologie preventive\" itemscope itemtype=\"https:\/\/schema.org\/CreativeWork\"><a class=\"entry-image-link\" href=\"https:\/\/neuronup.com\/it\/psicologia\/metodologie-preventive-di-comportamento\/\" tabindex=\"-1\" aria-hidden=\"true\"><img decoding=\"async\" width=\"400\" height=\"267\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/09\/un-nino-con-problemas-de-comportamiento-sentado-junto-a-una-mesa.webp\" class=\"entry-image size-landscape-sm\" alt=\"Bambino seduto al tavolo con giocattoli, accompagnato da una donna adulta che lo osserva in un ambiente educativo luminoso.\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/09\/un-nino-con-problemas-de-comportamiento-sentado-junto-a-una-mesa-300x200.webp 300w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/09\/un-nino-con-problemas-de-comportamiento-sentado-junto-a-una-mesa-768x512.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/09\/un-nino-con-problemas-de-comportamiento-sentado-junto-a-una-mesa-1024x683.webp 1024w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/09\/un-nino-con-problemas-de-comportamiento-sentado-junto-a-una-mesa.webp 1200w\" sizes=\"(max-width:599px) 599px, (min-width:600px) and (max-width: 799px) 799px, (min-width:800px) and (max-width: 999px) 333px, (min-width:1000px) 400px\" \/><\/a><div class=\"entry-wrap entry-wrap-grid\"><h3 class=\"entry-title\" itemprop=\"headline\"><a class=\"entry-title-link\" href=\"https:\/\/neuronup.com\/it\/psicologia\/metodologie-preventive-di-comportamento\/\" rel=\"bookmark\">Problemi di comportamento e metodologie preventive<\/a><\/h3>\n<\/div><\/article><article class=\"entry entry-grid is-column has-entry-link has-image has-image-first type-post category-stimolazione-e-riabilitazione-cognitiva tag-neuropsicologia tag-rehabilitacion-cognitiva\" style=\"--entry-index:2;\" aria-label=\"Terapie intensive nella neuro-riabilitazione: sono applicabili solo alle funzioni motorie?\" itemscope itemtype=\"https:\/\/schema.org\/CreativeWork\"><a class=\"entry-image-link\" href=\"https:\/\/neuronup.com\/it\/stimolazione-e-riabilitazione-cognitiva\/terapie-intensive-in-neuroriabilitazione\/\" tabindex=\"-1\" aria-hidden=\"true\"><img decoding=\"async\" width=\"400\" height=\"267\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/09\/personas-mayores-usando-un-portatil-con-NeuronUP2GO.webp\" class=\"entry-image size-landscape-sm\" alt=\"Coppia di anziani di fronte a un portatile con NeuronUP2Go, svolgendo intervento cognitivo, con una tazza e una brioche sul tavolo.\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/09\/personas-mayores-usando-un-portatil-con-NeuronUP2GO-300x200.webp 300w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/09\/personas-mayores-usando-un-portatil-con-NeuronUP2GO-768x512.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/09\/personas-mayores-usando-un-portatil-con-NeuronUP2GO-1024x683.webp 1024w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/09\/personas-mayores-usando-un-portatil-con-NeuronUP2GO.webp 1200w\" sizes=\"(max-width:599px) 599px, (min-width:600px) and (max-width: 799px) 799px, (min-width:800px) and (max-width: 999px) 333px, (min-width:1000px) 400px\" \/><\/a><div class=\"entry-wrap entry-wrap-grid\"><h3 class=\"entry-title\" itemprop=\"headline\"><a class=\"entry-title-link\" href=\"https:\/\/neuronup.com\/it\/stimolazione-e-riabilitazione-cognitiva\/terapie-intensive-in-neuroriabilitazione\/\" rel=\"bookmark\">Terapie intensive nella neuro-riabilitazione: sono applicabili solo alle funzioni motorie?<\/a><\/h3>\n<\/div><\/article><article class=\"entry entry-grid is-column has-entry-link has-image has-image-first type-post category-attivita-di-attenzione tag-actividades-de-estimulacion-cognitiva-para-ninos tag-atencion tag-noticias-de-neuronup\" style=\"--entry-index:3;\" aria-label=\"Scheda per migliorare la discriminazione nei bambini: Quale esiste?\" itemscope itemtype=\"https:\/\/schema.org\/CreativeWork\"><a class=\"entry-image-link\" href=\"https:\/\/neuronup.com\/it\/attivita-di-neuroriabilitazione\/attivita-per-le-funzioni-cognitive\/attivita-di-attenzione\/scheda-per-migliorare-la-discriminazione-nei-bambini-quale-esiste\/\" tabindex=\"-1\" aria-hidden=\"true\"><img decoding=\"async\" width=\"400\" height=\"225\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/05\/Ficha-discriminacion-en-ninos-Actividad-NeuronUP-Cual-existe.webp\" class=\"entry-image size-landscape-sm\" alt=\"Interfaccia con tre parole come opzioni (\u00f1oni, no\u00f1i, bambino); quella corretta \u00e8 &#039;bambino&#039;. Sfondo chiaro e pannello inferiore di progresso.\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/05\/Ficha-discriminacion-en-ninos-Actividad-NeuronUP-Cual-existe-300x169.webp 300w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/05\/Ficha-discriminacion-en-ninos-Actividad-NeuronUP-Cual-existe-768x432.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/05\/Ficha-discriminacion-en-ninos-Actividad-NeuronUP-Cual-existe-1024x575.webp 1024w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/05\/Ficha-discriminacion-en-ninos-Actividad-NeuronUP-Cual-existe.webp 1203w\" sizes=\"(max-width:599px) 599px, (min-width:600px) and (max-width: 799px) 799px, (min-width:800px) and (max-width: 999px) 333px, (min-width:1000px) 400px\" \/><\/a><div class=\"entry-wrap entry-wrap-grid\"><h3 class=\"entry-title\" itemprop=\"headline\"><a class=\"entry-title-link\" href=\"https:\/\/neuronup.com\/it\/attivita-di-neuroriabilitazione\/attivita-per-le-funzioni-cognitive\/attivita-di-attenzione\/scheda-per-migliorare-la-discriminazione-nei-bambini-quale-esiste\/\" rel=\"bookmark\">Scheda per migliorare la discriminazione nei bambini: Quale esiste?<\/a><\/h3>\n<\/div><\/article><article class=\"entry entry-grid is-column has-entry-link has-image has-image-first type-post category-linee-di-ricerca\" style=\"--entry-index:4;\" aria-label=\"Studio randomizzato, tripla cecit\u00e0 e controllato in parallelo sulla stimolazione transcranica a corrente continua per la riabilitazione cognitiva dopo l&#8217;ictus\" itemscope itemtype=\"https:\/\/schema.org\/CreativeWork\"><a class=\"entry-image-link\" href=\"https:\/\/neuronup.com\/it\/ricerca\/linee-di-ricerca\/studio-clinico-randomizzato-triplo-cieco-e-controllato-in-parallelo-della-stimolazione-transcranica-per-la-riabilitazione-cognitiva-dopo-un-ictus\/\" tabindex=\"-1\" aria-hidden=\"true\"><img decoding=\"async\" width=\"400\" height=\"218\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Ensayo-aleatorizado-triple-ciego-y-controlado-en-paralelo-de-la-estimulacion-transcraneal-por-corriente-directa-para-la-rehabilitacion-cognitiva-tras-un-ictus.webp\" class=\"entry-image size-landscape-sm\" alt=\"Cervello illustrato in stile digitale, illuminato in rosso e blu con reti neurali rappresentate da linee intrecciate.\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Ensayo-aleatorizado-triple-ciego-y-controlado-en-paralelo-de-la-estimulacion-transcraneal-por-corriente-directa-para-la-rehabilitacion-cognitiva-tras-un-ictus-300x164.webp 300w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Ensayo-aleatorizado-triple-ciego-y-controlado-en-paralelo-de-la-estimulacion-transcraneal-por-corriente-directa-para-la-rehabilitacion-cognitiva-tras-un-ictus-768x419.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Ensayo-aleatorizado-triple-ciego-y-controlado-en-paralelo-de-la-estimulacion-transcraneal-por-corriente-directa-para-la-rehabilitacion-cognitiva-tras-un-ictus-1024x559.webp 1024w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Ensayo-aleatorizado-triple-ciego-y-controlado-en-paralelo-de-la-estimulacion-transcraneal-por-corriente-directa-para-la-rehabilitacion-cognitiva-tras-un-ictus.webp 1237w\" sizes=\"(max-width:599px) 599px, (min-width:600px) and (max-width: 799px) 799px, (min-width:800px) and (max-width: 999px) 333px, (min-width:1000px) 400px\" \/><\/a><div class=\"entry-wrap entry-wrap-grid\"><h3 class=\"entry-title\" itemprop=\"headline\"><a class=\"entry-title-link\" href=\"https:\/\/neuronup.com\/it\/ricerca\/linee-di-ricerca\/studio-clinico-randomizzato-triplo-cieco-e-controllato-in-parallelo-della-stimolazione-transcranica-per-la-riabilitazione-cognitiva-dopo-un-ictus\/\" rel=\"bookmark\">Studio randomizzato, tripla cecit\u00e0 e controllato in parallelo sulla stimolazione transcranica a corrente continua per la riabilitazione cognitiva dopo l&#8217;ictus<\/a><\/h3>\n<\/div><\/article><article class=\"entry entry-grid is-column has-entry-link has-image has-image-first type-post category-zanzibar tag-estimulacion-cognitiva tag-ninos tag-rehabilitacion-cognitiva\" style=\"--entry-index:5;\" aria-label=\"NeuronUP come risorsa principale in PsicoNED\" itemscope itemtype=\"https:\/\/schema.org\/CreativeWork\"><a class=\"entry-image-link\" href=\"https:\/\/neuronup.com\/it\/progetti\/zanzibar\/neuronup-come-principale-risorsa-in-psiconed\/\" tabindex=\"-1\" aria-hidden=\"true\"><img decoding=\"async\" width=\"225\" height=\"300\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/07\/Neurorrehabilitacion-en-Zanzibar-Proyecto-PsicoNED-y-NeuronUP.webp\" class=\"entry-image size-landscape-sm\" alt=\"Donna con hijab e una bambina al suolo in una stanza a Zanzibar, circondate da quaderni e materiali per la riabilitazione\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/07\/Neurorrehabilitacion-en-Zanzibar-Proyecto-PsicoNED-y-NeuronUP-225x300.webp 225w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/07\/Neurorrehabilitacion-en-Zanzibar-Proyecto-PsicoNED-y-NeuronUP-768x1024.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/07\/Neurorrehabilitacion-en-Zanzibar-Proyecto-PsicoNED-y-NeuronUP-1152x1536.webp 1152w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/07\/Neurorrehabilitacion-en-Zanzibar-Proyecto-PsicoNED-y-NeuronUP.webp 1200w\" sizes=\"(max-width:599px) 599px, (min-width:600px) and (max-width: 799px) 799px, (min-width:800px) and (max-width: 999px) 333px, (min-width:1000px) 400px\" \/><\/a><div class=\"entry-wrap entry-wrap-grid\"><h3 class=\"entry-title\" itemprop=\"headline\"><a class=\"entry-title-link\" href=\"https:\/\/neuronup.com\/it\/progetti\/zanzibar\/neuronup-come-principale-risorsa-in-psiconed\/\" rel=\"bookmark\">NeuronUP come risorsa principale in PsicoNED<\/a><\/h3>\n<\/div><\/article><article class=\"entry entry-grid is-column has-entry-link has-image has-image-first type-post category-stimolazione-e-riabilitazione-cognitiva tag-formacion-universitaria tag-neuropsicologia tag-noticias-de-neuronup\" style=\"--entry-index:6;\" aria-label=\"Formazione universitaria in salute cognitiva: verso un&#8217;educazione pratica, digitale e connessa con la realt\u00e0 clinica\" itemscope itemtype=\"https:\/\/schema.org\/CreativeWork\"><a class=\"entry-image-link\" href=\"https:\/\/neuronup.com\/it\/stimolazione-e-riabilitazione-cognitiva\/formazione-universitaria-in-salute-cognitiva-verso-un-educazione-pratica-digitale-e-connessa-alla-realta-clinica\/\" tabindex=\"-1\" aria-hidden=\"true\"><img decoding=\"async\" width=\"400\" height=\"267\" src=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Formacion-universitaria-en-salud-cognitiva-hacia-una-educacion-practica-digital-y-conectada-con-la-realidad-clinica-scaled-1.webp\" class=\"entry-image size-landscape-sm\" alt=\"Persona con toga e berretto in un campus universitario all&#039;aperto, sotto il sole, a simboleggiare la formazione in salute cognitiva\" srcset=\"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Formacion-universitaria-en-salud-cognitiva-hacia-una-educacion-practica-digital-y-conectada-con-la-realidad-clinica-scaled-1-300x200.webp 300w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Formacion-universitaria-en-salud-cognitiva-hacia-una-educacion-practica-digital-y-conectada-con-la-realidad-clinica-scaled-1-768x512.webp 768w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Formacion-universitaria-en-salud-cognitiva-hacia-una-educacion-practica-digital-y-conectada-con-la-realidad-clinica-scaled-1-1024x683.webp 1024w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Formacion-universitaria-en-salud-cognitiva-hacia-una-educacion-practica-digital-y-conectada-con-la-realidad-clinica-scaled-1-1536x1024.webp 1536w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Formacion-universitaria-en-salud-cognitiva-hacia-una-educacion-practica-digital-y-conectada-con-la-realidad-clinica-scaled-1-2048x1366.webp 2048w, https:\/\/neuronup.com\/it\/wp-content\/uploads\/2025\/06\/Formacion-universitaria-en-salud-cognitiva-hacia-una-educacion-practica-digital-y-conectada-con-la-realidad-clinica-scaled-1.webp 2560w\" sizes=\"(max-width:599px) 599px, (min-width:600px) and (max-width: 799px) 799px, (min-width:800px) and (max-width: 999px) 333px, (min-width:1000px) 400px\" \/><\/a><div class=\"entry-wrap entry-wrap-grid\"><h3 class=\"entry-title\" itemprop=\"headline\"><a class=\"entry-title-link\" href=\"https:\/\/neuronup.com\/it\/stimolazione-e-riabilitazione-cognitiva\/formazione-universitaria-in-salute-cognitiva-verso-un-educazione-pratica-digitale-e-connessa-alla-realta-clinica\/\" rel=\"bookmark\">Formazione universitaria in salute cognitiva: verso un&#8217;educazione pratica, digitale e connessa con la realt\u00e0 clinica<\/a><\/h3>\n<\/div><\/article><\/div><\/div>","protected":false},"excerpt":{"rendered":"<p>Il Q-learning (apprendimento Q in spagnolo) si \u00e8 evoluto notevolmente dai primi esperimenti comportamentali come il condizionamento classico di Pavlov, fino a diventare una delle tecniche pi\u00f9 importanti nell&#8217;ambito del Machine Learning (apprendimento automatico). Di seguito, esploreremo come \u00e8 stato il suo sviluppo e&nbsp;la sua applicazione nella neuroriabilitazione e stimolazione cognitiva. Gli esperimenti di Pavlov &hellip;<\/p>\n","protected":false},"author":7,"featured_media":32300,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_genesis_hide_title":false,"_genesis_hide_breadcrumbs":false,"_genesis_hide_singular_image":false,"_genesis_hide_footer_widgets":false,"_genesis_custom_body_class":"","_genesis_custom_post_class":"","_genesis_layout":"","footnotes":"","_genesis_title":"Q-learning: dagli esperimenti di Pavlov alla riabilitazione","_genesis_description":"Il Q-learning applicato all'attivit\u00e0 NeuronUP Immagini disordinate personalizza la difficolt\u00e0 in tempo reale, testato su 2.000 iterazioni di un puzzle.","_genesis_keywords":"Applicazione del Q-learning nella neuro-riabilitazione, Applicazione del Q-learning nella stimolazione cognitiva","_genesis_noindex":false,"_genesis_nofollow":false,"_genesis_noarchive":false,"_genesis_canonical_uri":"","_genesis_scripts_body":"<script type=\"application\/ld+json\">\n{\n    \"@context\": \"https:\/\/schema.org\",\n    \"@graph\": [\n        {\n            \"@type\": \"Article\",\n            \"@id\": \"https:\/\/neuronup.com\/it\/ricerca\/linee-di-ricerca\/q-learning-dagli-esperimenti-di-pavlov-alla-moderna-neuroriabilitazione\/#article\",\n            \"isPartOf\": {\n                \"@id\": \"https:\/\/neuronup.com\/it\/ricerca\/linee-di-ricerca\/q-learning-dagli-esperimenti-di-pavlov-alla-moderna-neuroriabilitazione\/#webpage\"\n            },\n            \"mainEntityOfPage\": {\n                \"@id\": \"https:\/\/neuronup.com\/it\/ricerca\/linee-di-ricerca\/q-learning-dagli-esperimenti-di-pavlov-alla-moderna-neuroriabilitazione\/#webpage\"\n            },\n            \"headline\": \"Q-learning: dagli esperimenti di Pavlov alla neuro-riabilitazione moderna\",\n            \"description\": \"Il Q-learning si \u00e8 evoluto fino a diventare una delle tecniche pi\u00f9 importanti nel campo dell'apprendimento automatico.\",\n            \"datePublished\": \"2024-08-27T06:38:00+00:00\",\n            \"dateModified\": \"2024-08-27T06:38:00+00:00\",\n            \"articleSection\": \"Linee di ricerca\",\n            \"inLanguage\": \"it-IT\",\n            \"image\": {\n                \"@type\": \"ImageObject\",\n                \"url\": \"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-experimento-pavlov.webp\",\n                \"width\": 1306,\n                \"height\": 816\n            },\n            \"author\": {\n                \"@type\": \"Person\",\n                \"name\": \"NeuronUP\",\n                \"url\": \"https:\/\/neuronup.com\/it\/author\/inigo\/\",\n                \"description\": \"NeuronUP \u00e8 uno strumento indispensabile per i professionisti coinvolti nei processi di riabilitazione e stimolazione cognitiva.\"\n            },\n            \"publisher\": {\n                \"@id\": \"https:\/\/neuronup.com\/it\/#organization\"\n            },\n            \"about\": [\n                {\n                    \"@type\": \"Thing\",\n                    \"name\": \"Linee di ricerca\",\n                    \"url\": \"https:\/\/neuronup.com\/it\/category\/ricerca\/linee-di-ricerca\/\"\n                },\n                {\n                    \"@type\": \"Thing\",\n                    \"name\": \"Estimulaci\u00f3n Cognitiva\",\n                    \"url\": \"https:\/\/neuronup.com\/it\/tag\/estimulacion-cognitiva\/\"\n                },\n                {\n                    \"@type\": \"Thing\",\n                    \"name\": \"Noticias de NeuronUP\",\n                    \"url\": \"https:\/\/neuronup.com\/it\/tag\/noticias-de-neuronup\/\"\n                }\n            ]\n        },\n        {\n            \"@type\": \"WebPage\",\n            \"@id\": \"https:\/\/neuronup.com\/it\/ricerca\/linee-di-ricerca\/q-learning-dagli-esperimenti-di-pavlov-alla-moderna-neuroriabilitazione\/#webpage\",\n            \"url\": \"https:\/\/neuronup.com\/it\/ricerca\/linee-di-ricerca\/q-learning-dagli-esperimenti-di-pavlov-alla-moderna-neuroriabilitazione\/\",\n            \"name\": \"Q-learning: dagli esperimenti di Pavlov alla neuro-riabilitazione moderna\",\n            \"isPartOf\": {\n                \"@id\": \"https:\/\/neuronup.com\/it\/#website\"\n            },\n            \"primaryImageOfPage\": {\n                \"@type\": \"ImageObject\",\n                \"url\": \"https:\/\/neuronup.com\/it\/wp-content\/uploads\/2024\/08\/neuronup-labs-experimento-pavlov.webp\",\n                \"width\": 1306,\n                \"height\": 816\n            },\n            \"datePublished\": \"2024-08-27T06:38:00+00:00\",\n            \"dateModified\": \"2024-08-27T06:38:00+00:00\",\n            \"inLanguage\": \"it-IT\",\n            \"about\": [\n                {\n                    \"@type\": \"Thing\",\n                    \"name\": \"Linee di ricerca\",\n                    \"url\": \"https:\/\/neuronup.com\/it\/category\/ricerca\/linee-di-ricerca\/\"\n                },\n                {\n                    \"@type\": \"Thing\",\n                    \"name\": \"Estimulaci\u00f3n Cognitiva\",\n                    \"url\": \"https:\/\/neuronup.com\/it\/tag\/estimulacion-cognitiva\/\"\n                },\n                {\n                    \"@type\": \"Thing\",\n                    \"name\": \"Noticias de NeuronUP\",\n                    \"url\": \"https:\/\/neuronup.com\/it\/tag\/noticias-de-neuronup\/\"\n                }\n            ]\n        },\n        {\n            \"@type\": \"WebSite\",\n            \"@id\": \"https:\/\/neuronup.com\/it\/#website\",\n            \"url\": \"https:\/\/neuronup.com\/it\/\",\n            \"name\": \"NeuronUP\",\n            \"publisher\": {\n                \"@id\": \"https:\/\/neuronup.com\/it\/#organization\"\n            },\n            \"inLanguage\": \"it-IT\"\n        },\n        {\n            \"@type\": \"MedicalOrganization\",\n            \"name\": \"NeuronUP\",\n            \"url\": \"https:\/\/neuronup.com\/it\",\n            \"logo\": {\n                \"@type\": \"ImageObject\",\n                \"url\": \"https:\/\/neuronup.com\/wp-content\/uploads\/2021\/07\/logo-neuronup-core.svg\"\n            },\n            \"sameAs\": [\n                \"https:\/\/www.crunchbase.com\/organization\/neuronup\",\n                \"https:\/\/www.facebook.com\/NeuronUP\",\n                \"https:\/\/x.com\/NeuronUP\",\n                \"https:\/\/www.linkedin.com\/company\/neuronup\",\n                \"https:\/\/www.youtube.com\/user\/NeuronUp\",\n                \"https:\/\/www.instagram.com\/NeuronUP\"\n            ],\n            \"contactPoint\": [\n                {\n                    \"@type\": \"ContactPoint\",\n                    \"telephone\": [\n                        \"+34-676842914\"\n                    ],\n                    \"contactType\": [\n                        \"Customer Service\",\n                        \"Sales\"\n                    ],\n                    \"areaServed\": \"Worldwide\",\n                    \"availableLanguage\": [\n                        \"it\",\n                        \"es\",\n                        \"en\"\n                    ],\n                    \"email\": \"neuronup.it@neuronup.com\"\n                }\n            ],\n            \"address\": {\n                \"@type\": \"PostalAddress\",\n                \"streetAddress\": \"C. Piqueras, 31\",\n                \"addressLocality\": \"Logro\u00f1o\",\n                \"addressRegion\": \"La Rioja\",\n                \"postalCode\": \"26006\",\n                \"addressCountry\": \"ES\"\n            },\n            \"medicalSpecialty\": [\n                \"Psychiatric\",\n                \"Geriatric\",\n                \"Physiotherapy\"\n            ],\n            \"knowsAbout\": [\n                \"Stimolazione cognitiva\",\n                \"Riabilitazione neuropsicologica\",\n                \"Neuropsicologia\",\n                \"Demenza\",\n                \"Malattia di Alzheimer\",\n                \"Disturbo dello spettro autistico\",\n                \"ADHD\",\n                \"Ictus\",\n                \"Lesione cerebrale traumatica\",\n                \"Invecchiamento sano\"\n            ],\n            \"@id\": \"https:\/\/neuronup.com\/it\/#organization\"\n        },\n        {\n            \"@type\": \"WebApplication\",\n            \"name\": \"NeuronUP\",\n            \"applicationCategory\": \"HealthApplication\",\n            \"operatingSystem\": \"All\",\n            \"url\": \"https:\/\/app.neuronup.com\/\",\n            \"description\": \"Accedi a esercizi di stimolazione cognitiva altamente personalizzabili e a strumenti per pianificare e misurare i risultati dei tuoi interventi\",\n            \"aggregateRating\": {\n                \"@type\": \"AggregateRating\",\n                \"reviewCount\": 121,\n                \"ratingValue\": 4.9,\n                \"bestRating\": 5,\n                \"worstRating\": 1\n            }\n        }\n    ]\n}\n<\/script>\n<script type=\"application\/ld+json\">\n {\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"FAQPage\",\n  \"mainEntity\": [\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Cos'\u00e8 il Q-learning?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"Algoritmo di reinforcement learning introdotto da Christopher Watkins nel 1989 che permette a un agente di apprendere i valori delle azioni in stati specifici aggiornando una tabella Q tramite esperienza e ricompense.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Quali sono le origini del Q-learning nel condizionamento?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"Il Q-learning si ispira al condizionamento classico di Pavlov e al condizionamento operante di Skinner, che evidenziano apprendimento per associazione e rinforzo alla base delle teorie di reinforcement learning.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Come funziona la regola di aggiornamento del Q-learning?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"La regola aggiorna Q(s,a) combinando il valore corrente, la ricompensa ricevuta e il massimo Q dello stato successivo, pesati dal tasso di apprendimento (\u03b1) e dal fattore di sconto (\u03b3) per guidare l'agente.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Come NeuronUP usa il Q-learning?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"NeuronUP utilizza il Q-learning per automatizzare la personalizzazione delle attivit\u00e0, regolando parametri e difficolt\u00e0 in base alle prestazioni dell'utente per mantenere esercizi sfidanti ma raggiungibili.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Quale esempio pratico \u00e8 stato testato con Q-learning?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"Esempio pratico: l'attivit\u00e0 'Immagini disordinate' (puzzle 2x3), dove \u00e8 stata creata una matrice di ricompense basata sulle mosse minime e l'algoritmo ha migliorato progressivamente l'efficienza di risoluzione.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Quali sono limiti e vantaggi del Q-learning nella neuroriabilitazione?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"Vantaggi: personalizzazione dinamica, maggiore motivazione, supporto alle decisioni cliniche e miglioramento continuo. Limiti: sensibilit\u00e0 alla dimensione del puzzle, maggior tempo di calcolo e numero di mosse ancora elevato.\"\n      }\n    }\n  ]\n}\n<\/script>","_genesis_scripts_body_position":"bottom","page_header_description":"","page_header_image":32300,"hide_elements":["featured_image"]},"categories":[452],"tags":[506,501],"class_list":["type-post","category-linee-di-ricerca","tag-estimulacion-cognitiva","tag-noticias-de-neuronup","entry"],"acf":[],"_links":{"self":[{"href":"https:\/\/neuronup.com\/it\/wp-json\/wp\/v2\/posts\/32297","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/neuronup.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/neuronup.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/neuronup.com\/it\/wp-json\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/neuronup.com\/it\/wp-json\/wp\/v2\/comments?post=32297"}],"version-history":[{"count":0,"href":"https:\/\/neuronup.com\/it\/wp-json\/wp\/v2\/posts\/32297\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/neuronup.com\/it\/wp-json\/wp\/v2\/media\/32300"}],"wp:attachment":[{"href":"https:\/\/neuronup.com\/it\/wp-json\/wp\/v2\/media?parent=32297"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/neuronup.com\/it\/wp-json\/wp\/v2\/categories?post=32297"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/neuronup.com\/it\/wp-json\/wp\/v2\/tags?post=32297"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}