Прогнозирование результатов игроков с помощью TA-LSTM.

Специалист по данным NeuronUP Элина Филатова рассказывает в этой статье, как модель Time-Aware LSTM (TA-LSTM) позволяет с высокой точностью прогнозировать результаты пользователей, даже когда их данные поступают нерегулярно.

В NeuronUP мы активно применяем самые передовые методы машинного обучения, которые позволяют с высокой точностью прогнозировать поведение пользователей, выявлять тенденции и предсказывать будущие результаты на основе их исторических данных.

Однако традиционные подходы машинного обучения сталкиваются с трудностями, когда данные поступают нерегулярно, а интервалы между наблюдениями хаотичны или индивидуальны для каждого пользователя. В таких случаях обычные модели становятся неэффективными, поскольку не учитывают уникальный ритм и частоту активности каждого человека.

Именно для решения этой проблемы мы используем особую версию нейронной сети LSTM — Time-Aware LSTM (TA-LSTM). Эта модель эффективно учитывает временные интервалы между событиями, позволяя прогнозировать временные ряды даже при нерегулярных данных.

Цель исследования и основные трудности

В NeuronUP у нас есть метрики пользователя за предыдущие дни, и цель — предсказать его результаты при следующем выполнении задания. На первый взгляд это может показаться простой задачей, но на практике возникает ряд серьёзных трудностей:

• Индивидуальный ритм пользователей: у каждого пользователя свой режим тренировок — одни занимаются ежедневно, другие еженедельно, а третьи могут делать долгие перерывы до месяца и неожиданно возвращаться к заданиям. Например, Алекс стабильно тренируется каждый день, а Хосе предпочитает еженедельные интервалы. Если усреднить их результаты без учёта этой частоты, будут потеряны важные детали.
• Разнообразие заданий и их различное влияние на пользователей: задания NeuronUP предназначены для улучшения разных когнитивных функций — памяти, внимания, логики и др. У каждого задания свой уровень сложности, который различается в зависимости от пользователя. То, что легко для одного, может быть большим испытанием для другого.
• Фокус на конкретных заданиях: специалисты в NeuronUP определяют, какие задания назначить каждому пользователю. Например, Кармен регулярно выполняет упражнения на память, логику и математику, а Пабло — исключительно на внимание. Поэтому прогностическая модель должна учитывать индивидуальный путь каждого игрока.

Конечно, все эти нюансы усложняют как правильную подготовку данных, так и само обучение моделей машинного обучения. Игнорирование индивидуального ритма игроков, их нерегулярных интервалов и разной сложности заданий неизбежно ведёт к потере ключевой информации. В результате возникает риск менее точных прогнозов, что, в свою очередь, может снизить эффективность персонализированных рекомендаций в NeuronUP.

Решение: Time-Aware LSTM

Чтобы эффективно преодолеть все перечисленные трудности, команда данных NeuronUP разработала специальное решение на основе собственной модели Time-Aware LSTM (TA-LSTM). Это улучшенная версия стандартной нейронной сети LSTM, которая учитывает не только события во временных рядах, но и временные интервалы между ними.

Подготовка данных: почему так важна разница во времени?

Наша модель получает на вход данные, подготовленные особым образом. Каждая запись — это двумерная матрица, содержащая последовательные результаты игрока, упорядоченные хронологически, а также интервалы в днях между выполнениями задания. Чтобы понять, почему так важно учитывать разницу во времени, познакомимся с двумя персонажами, которые помогут наглядно это показать.

Представим марафон «Самый быстрый и ловкий», к которому готовятся два спортсмена:

• Нейронито — дисциплинированный и целеустремлённый спортсмен. Он никогда не пропускает тренировки, работает над собой каждый день и тщательно следит за питанием. Нейронито постоянно прогрессирует: с каждой тренировкой он становится быстрее, выносливее и увереннее. Учитывая его стабильный ритм подготовки, мы легко можем предсказать, что он отлично выступит на марафоне.

• Лентонито — талантливый, но менее дисциплинированный спортсмен. Его тренировки нерегулярны. Сегодня он тренируется с энтузиазмом, а завтра предпочитает отдохнуть, наслаждаясь паэльей и хорошим хамоном. Такие непостоянные занятия вызывают колебания результатов: иногда он улучшается, иногда нет, но без стабильного роста. Скорее всего, Лентонито придёт к финишу с менее впечатляющими результатами.

Так на простом примере мы увидели, насколько временные интервалы между событиями влияют на итоговые результаты. Именно эту информацию о стабильности и регулярности «тренировок» мы и передаём нашей модели. 

Если не учитывать временные интервалы, модель воспримет этих двух спортсменов как одинаковых, не заметив разницы в их подходе к тренировкам. Но TA-LSTM улавливает эту ключевую особенность, анализирует индивидуальные интервалы между событиями и делает более точные прогнозы с учётом уникального ритма каждого участника (или, в нашем случае в NeuronUP, пользователя).

Но это ещё не всё! Как вы могли заметить, мы упомянули и питание Нейронито и Лентонито. Не случайно: эти данные — дополнительные признаки, которые также существенно влияют на итоговый результат.

Аналогично наша модель способна учитывать не только временные интервалы, но и другие важные признаки, такие как возраст, пол, диагноз и даже предпочтения пользователей.

Это позволяет значительно повысить точность прогнозов — как в нашем примере с героями, где мы учли их режим питания и его влияние на успех.

Технические детали

Теперь, когда мы разобрали основную идею, перейдём к технической стороне работы модели Time-Aware LSTM (TA-LSTM). Эта модель — модификация стандартной ячейки LSTM, специально созданная для учёта временных интервалов между последовательными событиями.

Главная цель TA-LSTM — адаптивное обновление внутреннего состояния памяти модели в зависимости от времени, прошедшего с последнего наблюдения. Этот подход крайне важен при работе с нерегулярными временными рядами — именно с такими данными мы имеем дело в NeuronUP.

Входной вектор в момент времени t представлен как:

[text{inputs}_{t} = [x_{t},,Delta t]]

Где:

• (x_t in mathbb{R}^d) — вектор признаков, описывающий текущее событие (каждый день выполнения задания).
• (Delta t in mathbb{R}) — временной интервал между текущим и предыдущим наблюдением.

Предыдущие состояния модели представлены стандартным образом:

[h_{t-1},; C_{t-1}]

Где:

• (h_{t-1}) — вектор скрытого состояния на предыдущем шаге.
• (C_{t-1}) — состояние памяти (ячейки LSTM) на предыдущем шаге.

Чтобы учесть влияние временного интервала t, модель использует специальный механизм затухания памяти, описываемый следующей формулой:

[gamma_t = e^{-text{RELU}(w_d cdot Delta t + b_d)}]

Где:

• (w_d, ; b_d) — обучаемые параметры модели.
• (text{RELU}(x) = max(0, x)) — функция активации, исключающая отрицательные значения.

Коэффициент затухания (gamma_t) управляет обновлением состояния памяти.

Обновление памяти определяется так:

[bar{C}_{t-1} = gamma_t cdot C_{t-1}]

Это означает, что при увеличении временного интервала значение стремится к нулю, что приводит к большему «забыванию» предыдущих состояний памяти.

На следующем шаге скорректированное состояние памяти (bar{C}_{t-1}) подставляется в стандартные уравнения LSTM:

[h_t, ; C_t = text{LSTM}(x_{t’}, h_{t-1}, bar{C}_{t-1})]

Выходные значения (h_t) и обновлённое состояние памяти (C_t) используются на следующем шаге модели, что обеспечивает точный прогноз и возможность учитывать нерегулярные временные интервалы между событиями.

Зачем нужен прогноз?

Прогнозирование позволяет с высокой точностью предвидеть будущие результаты пациента после предварительного анализа его данных нашей собственной моделью TA-LSTM. Чтобы проверить точность прогнозов, мы взяли выборку данных реальных пациентов и применили модель к их предыдущим записям активности. Последний день активности каждого пациента был исключён из данных, чтобы сравнить реальный результат с прогнозом модели.

В большинстве случаев прогнозируемые результаты нашей модели близко совпадали с реальными значениями игроков. Однако мы также выявили интересные исключения, когда прогноз заметно отличался от реального результата.

Например, на графике ниже (рисунок 1) видны прогресс пациента (синяя линия) и соответствующий прогноз модели (красная линия). На первый взгляд разница довольно велика: пациент сохранял высокие и стабильные результаты на протяжении всего периода наблюдения, но его последний результат оказался неожиданно намного ниже прогноза. В этом случае прогноз модели выглядел гораздо логичнее реального результата.

Почему так произошло?

Причина оказалась простой, но важной: во все предыдущие дни пациент играл на более лёгких уровнях (этапах) и стабильно получал высокие баллы. Однако в последний день он выбрал более сложный этап 6, что привело к заметному снижению результата  (рисунок 2).

Таким образом, прогноз модели позволил распознать неожиданное отклонение от обычного поведения пациента и установить, что оно вызвано повышением уровня сложности.

Этот подход даёт специалистам NeuronUP мощный инструмент для своевременного выявления подобных ситуаций и быстрого анализа причин отклонений.

Заключение

Использование Time-Aware LSTM открывает новые возможности для точного прогнозирования временных рядов с нерегулярными интервалами. В отличие от традиционных моделей, TA-LSTM способна адаптироваться к уникальному ритму каждого игрока, учитывая его перерывы и интервалы активности. Благодаря этому подходу наша платформа когнитивной стимуляции может не только точно прогнозировать будущие результаты пациентов, но и своевременно выявлять возможные аномалии или неожиданные отклонения.

В NeuronUP мы ценим ваше время и всегда стремимся применять самые эффективные, инновационные и передовые технологии. Следите за нашими обновлениями — лучшее впереди!

Библиография

• Lechner, Mathias, and Ramin Hasani. “Learning Long-Term Dependencies in Irregularly-Sampled Time Series.” arXiv preprint arXiv:2006.04418, vol. -, no. -, 2020, pp. 1-11.
• Michigan State University, et al. “Patient Subtyping via Time-Aware LSTM Networks.” Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’17), vol. -, no. -, 2017, pp. 65-74.
• Nguyen, An, et al. “Time Matters: Time-Aware LSTMs for Predictive Business Process Monitoring.” Lecture Notes in Business Information Processing, Process Mining Workshops​, vol. 406, no. -, 2021, pp. 112–123.
• Schirmer, Mona, et al. “Modeling Irregular Time Series with Continuous Recurrent Units.” Proceedings of the 39th International Conference on Machine Learning (ICML 2022)​, vol. 162, no. -, 2022, pp. 19388-19405.
• “Time aware long short-term memory.” Wikipedia, https://en.wikipedia.org/wiki/Time_aware_long_short-term_memory. Accessed 12 March 2025.

Если вам понравилась эта статья о прогнозировании результатов игроков с помощью TA-LSTM, вас наверняка заинтересуют эти статьи NeuronUP: