البنية المعمارية ودورة حياة العنقود في نظام واحد

يدير BareStax دورة حياة عنقود NVIDIA GPU كاملة عبر مستوى تحكم مركزي ووكيل يعمل على كل عقدة حساب وجدولة BareStax Core مدمجة. يستغني هذا التصميم عن طبقات المحاكاة الافتراضية ومنصات تنسيق الحاويات الوسيطة، فيمنح المهام وصولاً مباشراً إلى العتاد والشبكة.

أربعة مكوّنات مترابطة عبر اتصال mTLS متبادل

تتكوّن بنية BareStax من أربعة أجزاء واضحة الحدود. ويُوزَّع البرنامج كملفات تنفيذية مستقلة مكتوبة بلغة Go: barestax-server وbarestaxd وbarestaxctl وbarestax وbarestax-bundler. وتأتي وحدة التحكم الرسومية مدمجة داخل barestax-server:

  • العقدة الرئيسية (head node): تشغّل barestax-server (الواجهة البرمجية والمتحكمات ووحدة التحكم الرسومية) وPostgreSQL ومتحكم BareStax Core ومحاسبة المهام ومستودع الحزم المحلي وسجل صور OCI وسجل التدقيق. تعمل على خادم فيزيائي دون معالجات GPU أو داخل آلة افتراضية على منصة المحاكاة المعتمدة لدى المؤسسة.
  • عُقَد GPU: تشغّل وكيل العقدة barestaxd المسؤول عن الانضمام وجرد العتاد والتثبيت المعياري ومسابير الصحة، إلى جانب Apptainer. يبادر الوكيل بالاتصال بمستوى التحكم من تلقاء نفسه، ولا تُرسَل أوامر من الخارج إلى العُقَد.
  • عقدة الدخول (login node): تمثّل نقطة دخول الباحثين عبر SSH وبوابة الباحثين لإرسال المهام إلى BareStax Core ومتابعتها.
  • الطرف المتصل بالإنترنت: يشغّل أداة barestax-bundler التي تجمّع حزم الإصدار وتوقّعها قبل نقلها عبر وسائط معتمدة أو الصمام الثنائي للبيانات (data diode) إلى البيئة المعزولة عن الإنترنت (air-gap).

تتم جميع الاتصالات الداخلية عبر mTLS بالاعتماد على بنية PKI الخاصة بالعنقود مع تجديد تلقائي للشهادات.

الطرف المتصل بالإنترنتbarestax-bundlerحد العزل (air-gap)وسائط نقل معتمدة أوالصمام الثنائيللبيانات (data diode)العقدة الرئيسية (head node)barestax-server (API والمتحكمات ووحدةالتحكم)PostgreSQLمتحكم BareStax Core ومحاسبة المهاممستودع الحزم المحليسجل OCIسجل التدقيقعقدة الدخول (login node)بوابة الباحثين, SSH, barestaxmTLSعُقَد GPUbarestaxdApptainerGPUNVLink وInfiniBandيتصل الوكيلبمستوى التحكممن تلقاء نفسهmTLSrelease bundleالطرف المتصل بالإنترنتbarestax-bundlerrelease bundleحد العزل (air-gap):وسائط نقل معتمدة أوالعقدة الرئيسية (head node)barestax-server (API والمتحكمات ووحدةالتحكم)PostgreSQLمتحكم BareStax Core ومحاسبة المهاممستودع الحزم المحليسجل OCIسجل التدقيقmTLSيتصل الوكيل بمستوى التحكم منتلقاء نفسهعُقَد GPUbarestaxdApptainerGPUNVLink وInfiniBandعقدة الدخول (login node)بوابة الباحثين, SSH, barestax

تأسيس مستوى التحكم في اليوم 0 واختبار التنبيهات

يبدأ تأسيس العنقود بتشغيل أمر تهيئة واحد على العقدة الرئيسية مع حفظ نسخة احتياطية لمفاتيح العنقود في الملف المحدد. يعرّف المشغّل بعد ذلك مصادر الهوية (LDAP وActive Directory والحسابات المحلية وOIDC وSAML) والعامل الثاني المدمج TOTP وإعدادات الشبكة وأهداف التخزين المشترك NFS وS3.

ويُختتَم اليوم 0 باختبار عملي لمسار التنبيهات يصل إلى المناوب ويُؤكَّد برمز التحقق قبل إدخال أول عقدة حساب.

barestax-server init --cluster-name <name> --endpoint <fqdn> --key-backup <file>
barestaxctl alert test

انضمام العقدة في اليوم 1 والتحقق المسبق من العتاد

قبل انضمام الخادم العامل بنظام Ubuntu 24.04 LTS إلى العنقود، يفحص النظام الحد الأدنى لإصدار البرمجيات الثابتة (firmware) وحالة الأقراص وإعداد Secure Boot وسلامة الاتصال. وبعد تنفيذ أمر الانضمام واعتماد العقدة بموافقة واحدة، يجرد الوكيل بنية GPU وNVLink وInfiniBand وPCIe وNUMA ويطابق الخادم مع ملف التعريف المناسب.

يثبّت النظام من المستودع المحلي مجموعة متوافقة جرى اختبارها معاً تضم النواة المثبّتة وDOCA-OFED وتعريف NVIDIA ومكتبات CUDA وFabric Manager وDCGM وNCCL وApptainer. تخضع العقدة عقب التثبيت لاختبارات GPU وNVLink وInfiniBand واختبار NCCL بين عقدتين، ولا تدخل طابور BareStax Core لاستقبال المهام إلا بعد اجتيازها بالكامل.

01التركيب في الرفوتثبيت نظام التشغيل02أمر واحد03موافقة واحدة04الجرد وملف التعريفوالمكدس المتوافق05التحقق: GPU وNVLinkوInfiniBand وNCCLبين عقدتين06جاهزة في BareStaxCore01التركيب في الرف وتثبيت نظامالتشغيل02أمر واحد03موافقة واحدة04الجرد وملف التعريف والمكدسالمتوافق05التحقق: GPU وNVLink وInfiniBandوNCCL بين عقدتين06جاهزة في BareStax Core

التشغيل المستمر في اليوم 2 وتصحيح الانحراف والاسترداد

يراقب النظام حالة كل عقدة باستمرار لرصد أي انحراف (drift)؛ فيصحّح الانحراف الذي لا يتطلّب توقفاً تلقائياً أثناء بقاء العقدة في الخدمة، أمّا الانحراف الذي يستلزم توقفاً كاختلاف النواة فلا يمسّه من تلقاء نفسه بل يبلّغ عنه بانتظار تطبيقه في نافذة الصيانة. وتُقيَّم الإشارات الصحية لمعالجات GPU والروابط الشبكية والذاكرة والتخزين في الوقت الفعلي؛ فإذا تعثرت عقدة، يتوقف إسناد المهام الجديدة إليها ريثما تكتمل مهامها النشطة مع حماية ضد التذبذب المتكرر.

يسير الاسترداد المتدرج من إعادة تشغيل الخدمة إلى إعادة إقلاع النظام ثم دورة الطاقة عبر BMC، وتحدد السياسة أي خطوات تعمل تلقائياً وأيها يتطلّب اعتماداً بينما تُنفَّذ عمليات طاقة BMC كعمليات معتمدة فقط. ويوقف مكبح العواصف سلسلة الاسترداد تلقائياً عند حدوث عطل جماعي يصيب عدة عُقَد في آن واحد، فيما يكشف عرض الأثر المهام والمستأجرين والخدمات المتأثرة.

الحالة المطلوبة (ملف التعريف)الحالة المرصودة (العقدة)kernelpinnedpinnedDOCA-OFEDtested settested setNVIDIA drivertested settested setCUDAtested settested setFabric Managertested settested setDCGMtested settested setNCCLtested settested setApptainertested settested setsysctlvm.max_map_count=262144vm.max_map_count=65530يُصحَّح دون مقاطعة المهام الجاريةالحالة المطلوبة(ملف التعريف)الحالة المرصودة(العقدة)kernelkernelDOCA-OFEDDOCA-OFEDNVIDIA driverNVIDIA driverCUDACUDAFabric ManagerFabric ManagerDCGMDCGMNCCLNCCLApptainerApptainersysctl 262144sysctl 65530يُصحَّح دون مقاطعة المهام الجارية

الترقيات المرحلية وإخراج العُقَد بأمان

تُطبَّق التحديثات باستخدام حزم إصدار موقّعة وفق أسلوب النشر المرحلي: تُرقّى عقدة واحدة أولاً للتحقق من سلامة التشغيل، ثم تتبعها بقية العُقَد بعدد متزامن لا يتجاوز ميزانية التوقف المحددة مع الحفاظ على المهام الجارية، ويُرقّى مستوى التحكم بالمسار ذاته.

عند الحاجة إلى صيانة عتاد أو استبداله، يفرّغ أمر واحد العقدة من المهام ويزيلها من العنقود دون فقدان أي عمل قيد التنفيذ، وتُبطَل شهادة هويتها السابقة فوراً مع السماح بإعادة ضمّها لاحقاً بالاسم ذاته.

barestaxctl node drain gpu-07
barestaxctl node remove gpu-07

واجهة برمجية تصريحية توحّد وحدة التحكم وسطر الأوامر

يعتمد BareStax نموذج موارد تصريحياً يفصل بين الحالة المطلوبة (spec) والحالة الفعلية التي يكتبها الخادم (status) مع تدفق متابعة حي للتغييرات. يتيح وضع المعاينة (plan وdry-run) فحص أثر أي تعديل قبل تطبيقه، وتستدعي وحدة التحكم الرسومية وأداة barestaxctl الواجهة البرمجية نفسها دون استثناء.

barestaxctl plan -f <file>
barestaxctl apply -f <file>

استمرارية المهام عند غياب مستوى التحكم واستعادة نظيفة

لا تتأثر المهام الجارية على عُقَد الحساب في حال انقطاع مستوى التحكم أو توقفه، إذ تحتفظ العُقَد بآخر حالة آمنة معروفة وتمنع بوابة الصحة المحلية إسناد مهام إلى أي عقدة متعطلة. وتشمل النسخة الاحتياطية لمستوى التحكم كلاً من الهوية وبنية PKI وقاعدة البيانات وحالة BareStax Core، مع استعادتها على عتاد نظيف وعزل العقدة الرئيسية القديمة لمنعها من الاستجابة بعد الاستعادة.

تعرض وحدة التحكم المرحلة التي بلغتها كل عقدة في دورة حياتها