ما هو نموذج Time-Aware LSTM (TA-LSTM)؟

نسخة محسّنة من خلية LSTM تأخذ الفترات الزمنية بين الأحداث بعين الاعتبار لتعديل الذاكرة الداخلية والتنبؤ بدقة أعلى مع السلاسل الزمنية غير المنتظمة.

لماذا تشكل السلاسل الزمنية غير المنتظمة تحدياً للنماذج التقليدية؟

الفترات المتفاوتة تُخفي الإيقاع الفردي للمستخدم وتفقد النماذج معلومات حاسمة، ما يؤدي إلى تنبؤات أقل دقة وتوصيات مخصصة أقل فعالية.

كيف يأخذ TA-LSTM الفواصل الزمنية بعين الاعتبار؟

يستخدم معامل تخفيف يعتمد على طول الفاصل الزمني لتقليل تأثير حالة الذاكرة السابقة، ما يزيد النسيان عند فترات طويلة ويحسّن التكيّف مع توقيت الأحداث.

ما هي المدخلات والميزات التي يستقبلها النموذج؟

يدخل النموذج مصفوفة زمنية من النتائج المتسلسلة وفترات الأيام بين الأنشطة، مع ميزات إضافية مثل العمر، الجنس، التشخيص وتفضيلات المستخدم.

ما مدى دقة التنبؤات وقدرة النموذج على اكتشاف الشذوذ؟

في معظم الحالات تطابقت التنبؤات مع القيم الحقيقية بدقة عالية، كما يسمح النموذج بالكشف المبكر عن انحرافات غير متوقعة ناتجة عن تغير مستوى الصعوبة أو سلوك المستخدم.

كيف يُستخدم TA-LSTM في منصة NeuronUP؟

يُستخدم لتوقع نتائج المستخدمين المستقبلية، تحسين التوصيات المخصّصة، وتمكين الأخصائيين من اكتشاف الانحرافات وتحليل أسبابها بسرعة.

تنبؤ نتائج اللاعبين باستخدام TA-LSTM.

إيلينا فيلاتوفا، عالمة بيانات في NeuronUP، تشرح في هذا المقال كيف أن النموذج Time-Aware LSTM (TA-LSTM) يسمح بالتنبؤ بدقةٍ عاليةٍ بنتائج المستخدمين حتى عندما تُنتَج بياناتهم بشكل غير منتظم.

في NeuronUP نقوم بتطبيق أكثر أساليب التعلم الآلي تقدماً بنشاط، والتي تتيح لنا التنبؤ بدقةٍ عاليةٍ بسلوك المستخدمين، وتحديد الاتجاهات، وتوقع النتائج المستقبلية استناداً إلى بياناتهم التاريخية.

ومع ذلك، تواجه النهج التقليدية في التعلم الآلي صعوبات عندما يتم توليد البيانات بشكل غير منتظم وتكون الفترات بين الملاحظات فوضوية أو خاصة بكل مستخدم. في مثل هذه الحالات، تصبح النماذج التقليدية غير فعالة لأنها لا تأخذ بعين الاعتبار الإيقاع والتكرار الفريد لنشاط كل شخص.

بالضبط لحل هذه المشكلة نستخدم نسخة خاصة من الشبكة العصبية LSTM تُسمى Time-Aware LSTM (TA-LSTM). هذا النموذج قادر على أخذ الفترات الزمنية بين الأحداث بعين الاعتبار بفعالية، مما يتيح التنبؤ بالسلاسل الزمنية حتى عندما تكون البيانات غير منتظمة.

هدف الدراسة والصعوبات الرئيسية

في NeuronUP لدينا مقاييس المستخدم القادمة من أيام سابقة، بهدف التنبؤ بنتائجه في المرة القادمة التي يقوم فيها بالنشاط. للوهلة الأولى قد يبدو هذا مهمة بسيطة، لكن في التطبيق العملي تظهر عدة صعوبات مهمة:

الإيقاع الفردي للمستخدمين: كل مستخدم لديه نمط تدريب فريد؛ بعضهم يلعب يومياً، والبعض الآخر أسبوعياً، وبعضهم قد يتوقف لفترات طويلة تصل إلى شهر ثم يعود للممارسات بشكل مفاجئ. على سبيل المثال، أليكس يتدرب باستمرار كل يوم، بينما خوسيه يفضّل الفترات الأسبوعية. إذا قمنا بتوسيط نتائجهم دون مراعاة تكرارهم، فسنفقد تفاصيل حاسمة.
تنوع الأنشطة وتأثيرها المختلف على المستخدمين: صُممت الأنشطة في NeuronUP لتحسين وظائف معرفية مختلفة مثل الذاكرة، والانتباه، والمنطق، وغيرها. كل نشاط يمتلك مستوى صعوبة خاص يختلف باختلاف المستخدم. ما قد يكون سهلاً لشخص ما قد يمثل تحدياً كبيراً لآخر.
التركيز على أنشطة محددة: يحدد متخصصو NeuronUP الأنشطة التي تُعيّن لكل مستخدم. على سبيل المثال، كارمن تؤدي بانتظام تمارين للذاكرة والمنطق والرياضيات، بينما بابلو يفضل تمارين الانتباه حصراً. لذلك يجب على النموذج التنبؤي أن يأخذ مسار كل لاعب المخصص بعين الاعتبار.

بالطبع، كل هذه الفوارق تُعقّد كلاً من عملية إعداد البيانات المناسبة وتدريب نماذج التعلم الآلي. تجاهل الإيقاع الفردي للاعبين، وفتراتهم غير المنتظمة، ومستويات الصعوبة المختلفة للأنشطة يؤدي حتماً إلى فقدان معلومات رئيسية. ونتيجة لذلك، يترتب على ذلك خطر الحصول على تنبؤات أقل دقة، مما قد يخفض فعالية التوصيات المخصصة في NeuronUP.

الحل: Time-Aware LSTM

لتجاوز كل الصعوبات المذكورة أعلاه بفعالية، طوّر فريق البيانات في NeuronUP حلّاً محدداً مبنياً على نموذج Time-Aware LSTM (TA-LSTM) المخصص. هذه نسخة محسنة من خلية LSTM القياسية، قادرة على أخذ الأحداث في السلاسل الزمنية بعين الاعتبار بالإضافة إلى الفترات الزمنية بينها.

تحضير البيانات: لماذا الفرق الزمني مهم جداً؟

يستقبل نموذجنا كمدخل بيانات مُحضّرة بطريقة محددة. كل سجل هو مصفوفة ثنائية الأبعاد تحتوي على نتائج متسلسلة للاعب، مرتبة زمنياً، وكذلك الفترات الزمنية بالأيام بين كل مرة قام فيها بالنشاط. لفهم سبب أهمية مراعاة الفرق الزمني، دعونا نتعرّف على شخصين سيساعداننا في توضيح هذه النقطة بشكل واضح.

تخيلوا ماراثوناً بعنوان “الأسرع والأكثر مرونة”، يستعد له رياضيان:

Neuronito – رياضي منضبط ومصمم. لا يتخلف عن التدريب أبداً، يعمل على نفسه يومياً ويهتم بتغذيته بعناية. يتقدم Neuronito باستمرار: مع كل جلسة تدريب جديدة يصبح أسرع وأكثر قدرة وثقة بالنفس. نظراً لإيقاعه المستقر في التحضير، يمكننا التنبؤ بسهولة بأن أدائه في الماراثون سيكون ممتازاً.

Lentonito – رياضي موهوب لكنه أقل انضباطاً. تدريباته غير منتظمة. اليوم يتدرب بحماس، وغداً يفضّل أن يستريح مستمتعاً بطبق الباييا وشرائح اللحم الجيدة. هذه الجلسات المتقلبة تُحدث تذبذباً في أدائه: أحياناً يتحسّن، وأحياناً لا، دون نمو مستقر. من المحتمل أن يصل Lentonito إلى النهاية بنتائج أقل إبهاراً.

بهذه الطريقة، رأينا بمثال بسيط مدى تأثير الفترات الزمنية بين الأحداث على النتائج النهائية. وهذه بالضبط هي المعلومات المتعلقة بالاستقرار والانتظام في “التدريبات” التي نزود بها نموذجنا.

إذا لم نأخذ الفترات الزمنية بعين الاعتبار، فسيرى النموذج هذين الرياضيين متساويين دون ملاحظة الفرق في أسلوب تدريبهما. أما TA-LSTM فيكتشف هذه الخاصية الأساسية، يحلل الفترات الفردية بين الأحداث ويجري تنبؤات أدق مع مراعاة الإيقاع الفريد لكل مشارك (أو في حالتنا على NeuronUP، لكل مستخدم).

لكن هذا ليس كل شيء! كما لاحظتم، ذكرنا أيضاً تغذية Neuronito وLentonito. ليس ذلك صدفة، بل لأن هذه البيانات تمثل ميزات إضافية تؤثر بشكل كبير أيضاً على النتيجة النهائية.

وبالمثل، نموذجنا قادر على أخذ بعين الاعتبار ليس فقط الفترات الزمنية، بل أيضاً ميزات مهمة أخرى مثل العمر، والجنس، والتشخيص، وحتى تفضيلات المستخدمين.

هذا يتيح تحسين دقة التنبؤات بشكل كبير، كما في مثالنا مع البطلين، حيث أخذنا في الحسبان نظامهما الغذائي وتأثيره على النجاح.

تفاصيل فنية

الآن بعد أن رأينا المفهوم الرئيسي، دعونا ننتقل إلى الجوانب الفنية لعمل نموذج Time-Aware LSTM (TA-LSTM). هذا النموذج هو تعديل لخلية LSTM القياسية، مصمّم خصيصاً لأخذ الفترات الزمنية بين الأحداث المتتابعة بعين الاعتبار.

الهدف الرئيسي من TA-LSTM هو التحديث التكيفي للحالة الداخلية لذاكرة النموذج بناءً على الوقت المنقضي منذ آخر ملاحظة. هذا النهج بالغ الأهمية عند العمل مع السلاسل الزمنية غير المنتظمة، وهو بالضبط نوع البيانات التي نتعامل معها في NeuronUP.

يتمثل متجه الإدخال في اللحظة الزمنية t كالتالي:

\[\text{inputs}_{t} = [x_{t},\,\Delta t]\]

حيث:

\(x_t \in \mathbb{R}^d\) – هو متجه الميزات الذي يصف الحدث الحالي (كل يوم يتم فيه أداء النشاط).
\(\Delta t \in \mathbb{R}\) – هو الفاصل الزمني بالوقت بين الملاحظة الحالية والسابقة.

تمثّل الحالات السابقة للنموذج بالطريقة القياسية:

\[h_{t-1},\; C_{t-1}\]

حيث:

\(h_{t-1}\) – هو متجه الحالة المخفية في الخطوة السابقة.
\(C_{t-1}\) – هي حالة الذاكرة (خلية LSTM) في الخطوة السابقة.

لأخذ تأثير الفاصل الزمني t في الحسبان، يستخدم النموذج آلية خاصة لتخفيف الذاكرة، موصوفة بالصيغة التالية:

\[\gamma_t = e^{-\text{RELU}(w_d \cdot \Delta t + b_d)}\]

حيث:

\(w_d, \; b_d\) – هما معلمان قابلان للتعلّم في النموذج.
\(\text{RELU}(x) = \max(0, x)\) – هي دالة التفعيل التي تمنع القيم السلبية.

يسيطَر معامل التخفيف \(\gamma_t\) على تحديث حالة الذاكرة.

يُعرّف تحديث الذاكرة كما يلي:

\[\bar{C}_{t-1} = \gamma_t \cdot C_{t-1}\]

هذا يعني أنه عندما يزيد الفاصل الزمني، يميل قيمة \(\gamma_t\) إلى الصفر، مما يسبب “نِسيانًا” أكبر لحالات الذاكرة السابقة.

في الخطوة التالية، تُدخَل حالة الذاكرة المصحّحة \(\bar{C}_{t-1}\) في معادلات LSTM القياسية:

\[h_t, \; C_t = \text{LSTM}(x_{t’}, h_{t-1}, \bar{C}_{t-1})\]

تُستخدم قيم الخرج \(h_t\) وحالة الذاكرة المحدّثة \(C_t\) في الخطوة التالية للنموذج، مما يضمن تنبؤاً دقيقاً والقدرة على مراعاة الفترات الزمنية غير المنتظمة بين الأحداث.

لماذا نستخدم التنبؤ؟

يتيح لنا استخدام التنبؤ التنبؤ بدقةٍ عاليةٍ بالنتائج المستقبلية لمريض عبر تحليل بياناته مسبقاً بواسطة نموذجنا المخصص TA-LSTM. للتحقق من دقة التنبؤات أخذنا عينة من بيانات مرضى حقيقيين وطبقنا النموذج استناداً إلى سجلات نشاطهم السابقة. تم استبعاد آخر يوم نشاط لكل مريض من البيانات لمقارنة النتيجة الحقيقية مع التنبؤ الذي ولّده النموذج.

في معظم الحالات، تطابقت النتائج المتوقعة بواسطة نموذجنا بشكل وثيق مع القيم الحقيقية للاعبين. ومع ذلك، حددنا أيضاً بعض الاستثناءات المثيرة حيث اختلف التنبؤ اختلافاً كبيراً عن النتيجة الحقيقية.

على سبيل المثال، في الرسم التالي (الصورة 1)، يمكن ملاحظة تطوّر المريض (الخط الأزرق) والتنبؤ المقابل للنموذج (الخط الأحمر). للوهلة الأولى، يبدو الفرق كبيراً إلى حدٍ ما: حافظ المريض على أداءٍ عالٍ ومستقر طوال فترة الملاحظة، لكن نتيجته الأخيرة كانت أقل بكثير مما كان متوقعاً بشكل غير متوقع. في هذه الحالة بدا تنبؤ النموذج أكثر منطقية بكثير من النتيجة الحقيقية.

لماذا حدث ذلك؟

السبب تبين أنه بسيط لكنه مهم: في جميع الأيام السابقة لعب المريض في مستويات (مراحل) أسهل، محققاً درجات مرتفعة باستمرار. ومع ذلك، في اليوم الأخير اختار المرحلة 6، التي كانت أصعب، مما تسبب في هبوط ملحوظ في أدائه (الصورة 2).

وبهذه الطريقة، سمح تنبؤ النموذج بالتعرّف على انحراف غير متوقع عن السلوك المعتاد للمريض، محدداً أنه نجم عن زيادة في مستوى الصعوبة.

يوفر هذا النهج لأخصائيي NeuronUP أداة قوية للكشف المبكر عن هذا النوع من الحالات وتحليل أسباب الانحرافات بسرعة.

الخلاصة

يُفتح استخدام Time-Aware LSTM آفاقاً جديدة للتنبؤ الدقيق بالسلاسل الزمنية ذات الفترات غير المنتظمة. على عكس النماذج التقليدية، فإن TA-LSTM قادر على التكيّف مع الإيقاع الفريد لكل لاعب مع أخذ فترات التوقف والنشاط بعين الاعتبار. وبفضل هذا النهج، لا تقتصر منصتنا للتحفيز المعرفي على التنبؤ بدقة بنتائج المرضى المستقبلية فحسب، بل يمكنها أيضاً اكتشاف الشذوذات أو الانحرافات غير المتوقعة في الوقت المناسب.

في NeuronUP نُقدّر وقتك ون نبحث دائماً عن تطبيق أكثر التقنيات فعاليةً وابتكاراً وتقدماً. تابع تحديثاتنا، فالأفضل لم يأتِ بعد!

المراجع

Lechner, Mathias, and Ramin Hasani. “Learning Long-Term Dependencies in Irregularly-Sampled Time Series.” arXiv preprint arXiv:2006.04418, vol. -, no. -, 2020, pp. 1-11.
Michigan State University, et al. “Patient Subtyping via Time-Aware LSTM Networks.” Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’17), vol. -, no. -, 2017, pp. 65-74.
Nguyen, An, et al. “Time Matters: Time-Aware LSTMs for Predictive Business Process Monitoring.” Lecture Notes in Business Information Processing, Process Mining Workshops, vol. 406, no. -, 2021, pp. 112–123.
Schirmer, Mona, et al. “Modeling Irregular Time Series with Continuous Recurrent Units.” Proceedings of the 39th International Conference on Machine Learning (ICML 2022), vol. 162, no. -, 2022, pp. 19388-19405.
“Time aware long short-term memory.” Wikipedia, https://en.wikipedia.org/wiki/Time_aware_long_short-term_memory. تم الاطلاع عليه 12 مارس 2025.