{"id":7070,"date":"2024-11-07T12:28:48","date_gmt":"2024-11-07T11:28:48","guid":{"rendered":"https:\/\/neuronup.com\/br\/?p=7070"},"modified":"2026-01-26T18:17:36","modified_gmt":"2026-01-26T16:17:36","slug":"q-learning-dos-experimentos-de-pavlov-a-neurorreabilitacao-moderna","status":"publish","type":"post","link":"https:\/\/neuronup.com\/br\/novidades-neuronup\/q-learning-dos-experimentos-de-pavlov-a-neurorreabilitacao-moderna\/","title":{"rendered":"Q-learning: Dos experimentos de Pavlov \u00e0 neurorreabilita\u00e7\u00e3o moderna"},"content":{"rendered":"\n

O Q-learning evoluiu consideravelmente desde os primeiros experimentos comportamentais, como o condicionamento cl\u00e1ssico de Pavlov, para se tornar uma das t\u00e9cnicas mais importantes no campo do Machine Learning. A seguir exploraremos como tem sido seu desenvolvimento e sua aplica\u00e7\u00e3o na neurorreabilita\u00e7\u00e3o e estimula\u00e7\u00e3o cognitiva.<\/p>\n\n\n\n

Experimentos de Pavlov<\/h2>\n\n\n\n

Ivan Pavlov, um fisiologista russo do final do s\u00e9culo XIX, \u00e9 conhecido por estabelecer os fundamentos da psicologia comportamental atrav\u00e9s de suas experi\u00eancias com o condicionamento cl\u00e1ssico. Nestas experi\u00eancias, Pavlov demonstrou que os c\u00e3es podiam aprender a associar um est\u00edmulo neutro, como o toque de uma campainha, com um est\u00edmulo incondicionado, como a comida, provocando assim uma resposta incondicionada: a saliva\u00e7\u00e3o.<\/p>\n\n\n

\n
\"Quadros
NeuronUP Labs Experimentos de Pavlov.<\/figcaption><\/figure>\n<\/div>\n\n\n

Este experimento foi fundamental para demonstrar que o comportamento pode ser adquirido por associa\u00e7\u00e3o, um conceito crucial que mais tarde influenciou o desenvolvimento de teorias de aprendizagem por refor\u00e7o.<\/strong><\/p>\n\n\n\n

As teorias de aprendizagem por refor\u00e7o<\/h2>\n\n\n\n

Essas teorias se concentram em como humanos e animais aprendem comportamentos a partir das consequ\u00eancias de suas a\u00e7\u00f5es, o que tem sido essencial para projetos de algoritmos como o Q-learning<\/strong>.<\/p>\n\n\n\n

Existem alguns conceitos-chave com os quais precisamos nos familiarizar antes de continuar:<\/p>\n\n\n\n

    \n
  • Agente:<\/strong> respons\u00e1vel pela execu\u00e7\u00e3o da a\u00e7\u00e3o.<\/li>\n\n\n\n
  • Ambiente: <\/strong>ambiente onde o agente se movimenta e interage.<\/li>\n\n\n\n
  • Estado: <\/strong>situa\u00e7\u00e3o atual do ambiente.<\/li>\n\n\n\n
  • A\u00e7\u00e3o:<\/strong> poss\u00edveis decis\u00f5es tomadas pelo agente.<\/li>\n\n\n\n
  • Recompensa: <\/strong>recompensas dadas ao agente.<\/li>\n<\/ul>\n\n\n\n

    Nesse tipo de aprendizagem, um agente realiza ou executa a\u00e7\u00f5es no ambiente, recebe informa\u00e7\u00f5es na forma de recompensa\/penalidade e as utiliza para ajustar seu comportamento ao longo do tempo.<\/p>\n\n\n

    \n
    \"Diagrama
    Teoria da aprendizagem por refor\u00e7o. NeuronUP.<\/figcaption><\/figure>\n<\/div>\n\n\n

    Um experimento cl\u00e1ssico de aprendizagem por refor\u00e7o \u00e9 o experimento da caixa de Skinner<\/strong>, realizado pelo psic\u00f3logo americano Burrhus Frederic Skinner em 1938. Neste experimento, Skinner demonstrou que ratos poderiam aprender a pressionar uma alavanca para obter comida, usando o refor\u00e7o positivo como meio de moldar o comportamento. <\/p>\n\n\n\n

    O experimento consiste em colocar um rato em uma caixa com uma alavanca que ele pode pressionar, um dispensador de comida e, \u00e0s vezes, uma luz e um alto-falante.<\/p>\n\n\n\n

    Cada vez que o rato pressiona a alavanca, um gr\u00e3o de comida \u00e9 liberado no dispensador. A comida atua como um refor\u00e7o positivo, uma recompensa por pressionar a alavanca. Com o tempo, o rato come\u00e7ar\u00e1 a pressionar a alavanca com mais frequ\u00eancia, mostrando que aprendeu o comportamento por meio de refor\u00e7o.<\/p>\n\n\n

    \n
    \"Caixa
    A caixa de Skinner. NeuronUP.<\/figcaption><\/figure>\n<\/div>\n\n\n

    Esse tipo de aprendizado serviu de base para algoritmos de aprendizado de m\u00e1quina<\/strong>, como o Q-learning<\/strong>, que permite que as m\u00e1quinas aprendam comportamentos ideais de forma aut\u00f4noma por meio de tentativa e erro.<\/p>\n\n\n\n

    O que \u00e9 Q-learning?<\/h2>\n\n\n\n

    O Q-learning foi introduzido por Christopher Watkins <\/strong>em 1989 como um algoritmo de aprendizagem por refor\u00e7o. Este algoritmo permite que um agente aprenda o valor das a\u00e7\u00f5es num determinado estado, atualizando continuamente o seu conhecimento atrav\u00e9s da experi\u00eancia, tal como o rato na caixa de Skinner.<\/p>\n\n\n\n

    Ao contr\u00e1rio dos experimentos de Pavlov, nos quais o aprendizado se baseava em associa\u00e7\u00f5es simples, o Q-learning utiliza um m\u00e9todo mais complexo de tentativa e erro. O agente explora diversas a\u00e7\u00f5es e atualiza uma tabela Q<\/strong> que armazena valores Q, que representam as recompensas futuras esperadas por realizar a melhor a\u00e7\u00e3o em um estado espec\u00edfico.<\/p>\n\n\n\n

    O Q-learning \u00e9 aplicado em diversas \u00e1reas, como em sistemas de recomenda\u00e7\u00e3o (como os utilizados pela Netflix ou Spotify), em ve\u00edculos aut\u00f3nomos (como drones ou rob\u00f4s) e na otimiza\u00e7\u00e3o de recursos. Exploraremos agora como esta tecnologia pode ser aplicada na neurorreabilita\u00e7\u00e3o.<\/p>\n\n\n\n

    Q-learning e NeuronUP<\/h2>\n\n\n\n

    Uma das vantagens da NeuronUP <\/strong>\u00e9 a possibilidade de customizar atividades de acordo com as necessidades espec\u00edficas de cada usu\u00e1rio. No entanto, personalizar cada atividade pode ser entediante devido ao grande n\u00famero de par\u00e2metros a serem ajustados.<\/p>\n\n\n\n

    O Q-learning permite automatizar este processo, ajustando os par\u00e2metros com base no desempenho do usu\u00e1rio nas diferentes atividades. Isto garante que os exerc\u00edcios sejam desafiadores, mas alcan\u00e7\u00e1veis, melhorando a efic\u00e1cia e a motiva\u00e7\u00e3o durante a reabilita\u00e7\u00e3o.<\/p>\n\n\n\n

    Como funciona?<\/h3>\n\n\n\n

    Neste contexto, o agente, que poderia ser comparado a um usu\u00e1rio interagindo com uma atividade, aprende a tomar decis\u00f5es \u00f3timas em diferentes situa\u00e7\u00f5es para superar corretamente a atividade.<\/p>\n\n\n\n

    O Q-learning permite que o agente experimente diversas a\u00e7\u00f5es interagindo com seu ambiente, recebendo recompensas ou penalidades e atualizando uma tabela Q que armazena esses valores Q. Esses valores representam as recompensas futuras esperadas por realizar a melhor a\u00e7\u00e3o em um determinado estado. <\/p>\n\n\n\n

    A regra de atualiza\u00e7\u00e3o do Q-learning \u00e9 a seguinte:<\/p>\n\n\n\n

    \"Q-learning\"<\/p>\n\n\n\n

    Onde:<\/p>\n\n\n\n

    \ud835\udec2 – \u00e9 a taxa de aprendizagem.<\/p>\n\n\n\n

    r<\/strong> – \u00e9 a recompensa recebida ap\u00f3s a a\u00e7\u00e3o a <\/strong>do estado s<\/strong>.<\/p>\n\n\n\n

    \ud835\udec4 – \u00e9 o fator de desconto, que representa a import\u00e2ncia das recompensas futuras.<\/p>\n\n\n\n

    s\u2019<\/strong> – \u00e9 o pr\u00f3ximo estado.<\/p>\n\n\n\n

    – \u00e9 o valor m\u00e1ximo de Q para os pr\u00f3ximos estados s<\/strong>‘.<\/p>\n\n\n\n

    Exemplo de aplica\u00e7\u00e3o em uma atividade NeuronUP<\/h3>\n\n\n\n

    Vejamos a atividade da NeuronUP chamada \u201cImagens Embaralhadas\u201d, que trabalha habilidades como planejamento, pr\u00e1xis visual-construtiva e relacionamento espacial. Nesta atividade o objetivo \u00e9 resolver um quebra-cabe\u00e7a que foi misturado e cortado em peda\u00e7os.<\/p>\n\n\n

    \n
    \"Quebra-cabe\u00e7a
    Atividade NeuronUP “Imagens confusas”. NeuronUP.<\/figcaption><\/figure>\n<\/div>\n\n\n

    As vari\u00e1veis \u200b\u200bque definem a dificuldade desta atividade s\u00e3o o tamanho da matriz (o n\u00famero de linhas e colunas) bem como o valor da desordem das pe\u00e7as (baixa, m\u00e9dia, alta ou muito alta).<\/p>\n\n\n\n

    Para entrenar al agente a resolver el rompecabezas, se cre\u00f3 una matriz de recompensas<\/strong> basada en el n\u00famero m\u00ednimo de movimientos necesarios para resolverlo, definido por la siguiente f\u00f3rmula:<\/p>\n\n\n\n

    \"Q-learning\"<\/p>\n\n\n\n

    A vari\u00e1vel do fator depende da vari\u00e1vel do dist\u00farbio. Uma vez criada a matriz, um algoritmo Q-learning foi aplicado para treinar o agente para resolver o quebra-cabe\u00e7a automaticamente.<\/p>\n\n\n\n

    Essa integra\u00e7\u00e3o inclui:<\/p>\n\n\n\n