إطار عمل هجين قابل للتفسير يعتمد على التعلم الذاتي والمحولات لاكتشاف الشذوذ في سجلات الأنظمة مع التكيف مع تغير المفهوم “An Explainable Hybrid Self-Supervised Transformer Framework for Log Anomaly Detection with Concept Drift Adaptation” Dr. Hasan Abdullah Ahmed Al-Shaikh* ملخص البحث يُعد سجل النظام أمرا بالغ الأهمية لمراقبة أنظمة المعلومات الحديثة واستكشاف أخطائها وإصلاحها وحمايتها. ومع ذلك، يُعقّد الحجم الكبير والتنوع الهائل للسجلات التحليل اليدوي. كما أن المناهج التقليدية القائمة على القواعد وتقنيات التعلم الآلي الكلاسيكية غير قابلة للتوسع أو التكيف أو التفسير. على الرغم من أن الأساليب المتقدمة التي تستخدم التعلّم العميق والمحولات والتعلم الذاتي الإشراف تبدو واعدة، إلا أنها لا تزال تواجه مشكلات مثل انحراف المفهوم، والمتطلبات الحسابية الكبيرة، والقدرة المحدودة على الشرح. في هذا البحث، نقدم تقييمًا نقديًا شاملًا للتطورات الحديثة في هذا المجال، ونقترح إطار عمل هجينًا متماسكًا يستخدم التعلم التمثيلي ذاتي الإشراف، وبنى المحولات، وأدوات كشف الانحراف، إلى جانب مقاييس القدرة على الشرح. تكشف تجاربنا التفصيلية التي أجريناها على مجموعات بيانات متعددة (HDFS، وBGL، وLogHub، وThunderbird)، أن نموذجنا الهجين المقترح يحقق دقة فائقة مع الحفاظ على توازن جدير بالثناء بين الكفاءة، واستهلاك الذاكرة، وزمن الوصول؛ مما يجعله مناسبًا للاستخدامات العملية في العالم الحقيقي. وتختتم الورقة بتقييم جودة النتائج وتقترح سبلًا للبحوث المستقبلية في هذا المجال. الكلمات الافتتاحية: كشف الشذوذ في السجلات، المحول، التعلم الذاتي، الذكاء الاصطناعي القابل للتفسير، تغير المفهوم. ABSTRACT The system log is crucial for the monitoring, troubleshooting, and safeguarding of modern information systems. However, the extensive volume and variety of logs complicate manual analysis. Traditional rule-based approaches and classic machine learning techniques are neither scalable nor adaptable or interpretable. Although advanced methods utilizing deep learning, Transformers, and self-supervised learning show promise, they still encounter issues like concept drift, significant computational demands, and restricted explain ability. In this research, we offer an extensive critical assessment of recent developments in the area and propose a cohesive hybrid framework that utilizes self-supervised representation learning, Transformer architectures, drift detection tools, alongside measures for explain ability. Our detailed experiments performed on multiple datasets (HDFS, BGL, LogHub, and Thunderbird) reveal that our suggested hybrid model attains cutting edge accuracy while preserving a commendable balance between efficiency, memory consumption, and latency; thereby rendering it appropriate for real world practical uses. The paper concludes with an evaluation of the quality of the results and proposes avenues for future research in this field. Keywords: Log Anomaly Detection, Transformer, Self-Supervised Learning, Explainable AI (XAI), Concept Drift.

إطار عمل هجين قابل للتفسير يعتمد على التعلم الذاتي والمحولات لاكتشاف الشذوذ في سجلات الأنظمة مع التكيف مع تغير المفهوم Dr. Hasan Abdullah Ahmed Al-Shaikh*

البحث العلمي ابحاث المجلة | الابحاث المنشورة

إطار عمل هجين قابل للتفسير يعتمد على التعلم الذاتي والمحولات لاكتشاف الشذوذ في سجلات الأنظمة مع التكيف مع تغير المفهوم


“An Explainable Hybrid Self-Supervised Transformer Framework for Log Anomaly Detection with Concept Drift Adaptation”


المؤلف Dr. Hasan Abdullah Ahmed Al-Shaikh*
محكمة نعم
الدولة اليمن
سنة النشر 2025
الشهر December
المجلد 12
العدد 21
DOI https://aust.uni.ye/contentCustom.php?pid=515&menu=showNumM&page=193
ISSN 2410-1818
نوع المحتوى بحوث ومقالات
اللغة العربية
قواعد المعلومات HumanIndex
رابط المحتوى تحميل PDF

الملخص

ملخص البحث يُعد سجل النظام أمرا بالغ الأهمية لمراقبة أنظمة المعلومات الحديثة واستكشاف أخطائها وإصلاحها وحمايتها. ومع ذلك، يُعقّد الحجم الكبير والتنوع الهائل للسجلات التحليل اليدوي. كما أن المناهج التقليدية القائمة على القواعد وتقنيات التعلم الآلي الكلاسيكية غير قابلة للتوسع أو التكيف أو التفسير. على الرغم من أن الأساليب المتقدمة التي تستخدم التعلّم العميق والمحولات والتعلم الذاتي الإشراف تبدو واعدة، إلا أنها لا تزال تواجه مشكلات مثل انحراف المفهوم، والمتطلبات الحسابية الكبيرة، والقدرة المحدودة على الشرح. في هذا البحث، نقدم تقييمًا نقديًا شاملًا للتطورات الحديثة في هذا المجال، ونقترح إطار عمل هجينًا متماسكًا يستخدم التعلم التمثيلي ذاتي الإشراف، وبنى المحولات، وأدوات كشف الانحراف، إلى جانب مقاييس القدرة على الشرح. تكشف تجاربنا التفصيلية التي أجريناها على مجموعات بيانات متعددة (HDFS، وBGL، وLogHub، وThunderbird)، أن نموذجنا الهجين المقترح يحقق دقة فائقة مع الحفاظ على توازن جدير بالثناء بين الكفاءة، واستهلاك الذاكرة، وزمن الوصول؛ مما يجعله مناسبًا للاستخدامات العملية في العالم الحقيقي. وتختتم الورقة بتقييم جودة النتائج وتقترح سبلًا للبحوث المستقبلية في هذا المجال. الكلمات الافتتاحية: كشف الشذوذ في السجلات، المحول، التعلم الذاتي، الذكاء الاصطناعي القابل للتفسير، تغير المفهوم.


Abstract

ABSTRACT The system log is crucial for the monitoring, troubleshooting, and safeguarding of modern information systems. However, the extensive volume and variety of logs complicate manual analysis. Traditional rule-based approaches and classic machine learning techniques are neither scalable nor adaptable or interpretable. Although advanced methods utilizing deep learning, Transformers, and self-supervised learning show promise, they still encounter issues like concept drift, significant computational demands, and restricted explain ability. In this research, we offer an extensive critical assessment of recent developments in the area and propose a cohesive hybrid framework that utilizes self-supervised representation learning, Transformer architectures, drift detection tools, alongside measures for explain ability. Our detailed experiments performed on multiple datasets (HDFS, BGL, LogHub, and Thunderbird) reveal that our suggested hybrid model attains cutting edge accuracy while preserving a commendable balance between efficiency, memory consumption, and latency; thereby rendering it appropriate for real world practical uses. The paper concludes with an evaluation of the quality of the results and proposes avenues for future research in this field. Keywords: Log Anomaly Detection, Transformer, Self-Supervised Learning, Explainable AI (XAI), Concept Drift.

تحميل البحث (PDF)