Bir GPU kümesi, kurulumdan çıkarmaya kadar aynı mimaride yönetilir

BareStax head node'daki kontrol düzleminden, GPU node'larındaki ajandan ve araştırmacının girdiği login node'dan oluşur. Bir sunucunun kümeye girişi de kümedeki ömrü de bu parçalar arasında yürür.

Kontrol düzlemi head node'da, iş GPU node'larında çalışır

Head node

Kontrol düzlemi burada durur: API'yi, denetleyicileri ve konsolu taşıyan barestax-server, PostgreSQL, BareStax Core denetleyicisi ve iş muhasebesi, yerel paket deposu, OCI registry ve denetim kaydı. Head node GPU'suz bir sunucu olabilir; sanallaştırma platformunuzdaki bir sanal makine de olabilir.

GPU node'ları

barestaxd ajanı katılımı, envanteri, modüllerle kurulumu ve sağlık problarını yürütür. Yanında Apptainer bulunur.

Login node

Araştırmacılar SSH ve portal üzerinden buraya girer. İşler buradan BareStax Core'a gönderilir.

İnternet tarafı

barestax-bundler sürüm paketlerini toplar ve imzalar. Air-gap sınırını yalnız bu paketler aşar; aktarımın adımları Kurulum sayfasında.

Bileşenler arasındaki her bağlantı mTLS'lidir. Ajan kontrol düzlemine kendisi bağlanır; node'a dışarıdan komut gönderilmez.

BareStax Go ile yazılmıştır. barestax-server, barestaxd, barestaxctl, barestax ve barestax-bundler her biri tek bir ikili dosyadır; konsol barestax-server'ın içindedir.

İnternet tarafıbarestax-bundlerAir-gap sınırıtaşınabilir medya yada veri diyotuHead nodebarestax-server (API, denetleyiciler,konsol)PostgreSQLBareStax Core denetleyicisi ve işmuhasebesiyerel paket deposuOCI registrydenetim kaydıLogin nodearaştırmacı portalı, SSH, barestaxmTLSGPU node'larıbarestaxdApptainerGPUNVLink ve InfiniBandAjan kontroldüzleminekendisibağlanırmTLSrelease bundleİnternet tarafıbarestax-bundlerrelease bundleAir-gap sınırı:taşınabilir medya yaHead nodebarestax-server (API, denetleyiciler,konsol)PostgreSQLBareStax Core denetleyicisi ve işmuhasebesiyerel paket deposuOCI registrydenetim kaydımTLSAjan kontrol düzleminekendisi bağlanırGPU node'larıbarestaxdApptainerGPUNVLink ve InfiniBandLogin nodearaştırmacı portalı, SSH, barestax

Gün 0'da kontrol düzlemi tek komutla kurulur

Head node'a Ubuntu 24.04 kurulduktan sonra kontrol düzlemi tek komutla ayağa kalkar.

barestax-server init --cluster-name <ad> --endpoint <fqdn> --key-backup <dosya>

Ardından kurumunuzun kimlik kaynağı ve ikinci faktör bağlanır, ağ ve depolama hedefleri girilir. Gün 0, alarm zincirinin uçtan uca sınanmasıyla kapanır.

Gün 1'de sunucu tek komut ve tek onayla kümeye katılır

Firmware alt sınırı, disk, Secure Boot ve bağlantı ön kontrolleri katılımdan önce yapılır. Operatör onayladıktan sonra giriş şu sırayla ilerler:

  1. Envanter: GPU, NVLink, InfiniBand, PCIe ve NUMA yapısı çıkarılır.
  2. Profil eşleşmesi: Donanıma uyan profil seçilir.
  3. Uyumlu yığın: Kernel, DOCA-OFED, NVIDIA sürücüsü, CUDA, Fabric Manager, DCGM, NCCL ve Apptainer birlikte test edilmiş bir set olarak kurulur.
  4. Doğrulama: GPU, NVLink, InfiniBand ve iki node arası NCCL testleri çalışır.
  5. BareStax Core'da hazır: Doğrulamadan geçen node iş almaya hazır olarak kuyruğuna girer.
barestaxctl token create
barestaxd join --token-file <yol>
barestaxctl node approve gpu-07
01Rafa takılır,işletim sistemikurulur02Tek komut03Onay04Envanter, profil,uyumlu yığın05Doğrulama: GPU,NVLink, InfiniBand,iki node arası NCCL06BareStax Core'dahazır01Rafa takılır, işletim sistemikurulur02Tek komut03Onay04Envanter, profil, uyumlu yığın05Doğrulama: GPU, NVLink,InfiniBand, iki node arası NCCL06BareStax Core'da hazır

Gün 2'de küme kendi tanımlı durumunu korur

Elle yapılan ya da beklenmeyen bir değişiklik sapma olarak görülür. Bir sysctl değeri gibi kesinti gerektirmeyen sapma, node hizmetteyken düzeltilir. Kernel değişikliği gibi kesinti gerektiren sapmaya ürün kendiliğinden dokunmaz; raporlar ve bakım penceresinde onaylı işlemle uygulanmasını bekler.

İstenen durum (profil)Gözlenen durum (node)kernelsabitsabitDOCA-OFEDuyumlu setuyumlu setNVIDIA sürücüsüuyumlu setuyumlu setCUDAuyumlu setuyumlu setFabric Manageruyumlu setuyumlu setDCGMuyumlu setuyumlu setNCCLuyumlu setuyumlu setApptaineruyumlu setuyumlu setsysctlvm.max_map_count=262144vm.max_map_count=65530Çalışan işi kesmeden düzeltilirİstenen durum(profil)Gözlenen durum(node)kernelkernelDOCA-OFEDDOCA-OFEDNVIDIA sürücüsüNVIDIA sürücüsüCUDACUDAFabric ManagerFabric ManagerDCGMDCGMNCCLNCCLApptainerApptainersysctl 262144sysctl 65530Çalışan işi kesmeden düzeltilir

Sağlık sinyalleri sürekli değerlendirilir; arızalı node yeni iş almaz, üzerindeki iş korunur. Kurtarma servisten güç döngüsüne doğru kademeli ilerler ve politikanıza göre kendiliğinden ya da onayla yürür. Mekanizmanın ayrıntısı Yetenekler sayfasında.

Her arızanın hangi işi, hangi kiracıyı ve hangi servisi etkilediği etki görünümünde yazar.

Küme büyürken yeni sunucular aynı katılım yolundan girer. Bir node'u çıkarmak gerektiğinde önce boşaltılır, sonra kümeden çıkarılır ve çalışan iş kaybolmaz. Çıkarılan sunucu daha sonra aynı adla, yeni bir kimlikle dönebilir.

barestaxctl node drain gpu-07
barestaxctl node remove gpu-07

Yükseltme önce bir node'da denenir, sonra bütçeyle yayılır

Yeni sürüm imzalı bir sürüm paketiyle gelir. Önce tek bir node yükseltilir; ardından aynı anda en çok sizin belirlediğiniz sayıda node yükseltmeye girer. Çalışan işler bu sırada korunur.

Kontrol düzlemi de aynı paketle, aynı yoldan yükseltilir.

barestaxctl release import <paket>
barestax-server upgrade --offline

Konsol ve komut satırı aynı bildirimsel API'yi kullanır

API, Kubernetes tarzı bir kaynak modeline dayanır. İstenen durumu spec olarak siz yazarsınız; gerçekleşen durumu status olarak sunucu yazar. Değişiklikler canlı izleme akışıyla anında istemcilere ulaşır.

Bir değişikliği uygulamadan önce planını görürsünüz. Plan ve dry-run, değişikliğin sonucunu kümeye dokunmadan gösterir.

barestaxctl plan -f <dosya>
barestaxctl apply -f <dosya>

Kontrol düzlemi kaybolsa da çalışan işler sürer

Head node yanıt vermediğinde node'lar son bilinen güvenli durumda kalır ve çalışan işler etkilenmez. Yerel sağlık kapısı, kontrol düzlemi yokken bile arızalı node'a iş verilmesini engeller.

Kontrol düzlemi yedeklenir; kimlik, PKI, veri tabanı ve BareStax Core durumu yedeğin parçasıdır. Yedek temiz donanıma geri yüklenir ve geri yüklemeden sonra eski head'in yanıt vermesi engellenir.

Konsol, her node'un yaşam döngüsünün hangi evresinde olduğunu canlı gösterir