Yazılım yığınından BMC'ye kadar her katman tek üründe yönetilir

Profil, kuyruk, imaj, sağlık sinyali ve sürüm paketi aynı kontrol düzleminden geçer.

Node'un bütün yazılım yığını tek bir profille tanımlanır

Her donanım sınıfının kendi profili vardır; aynı havuzdaki farklı sunucular kendi profilleriyle çalışır.

  • Profil, node'un hedef durumudur

    Kernel, DOCA-OFED, NVIDIA sürücüsü, CUDA kullanıcı kütüphaneleri, Fabric Manager, DCGM, NCCL ve Apptainer profilde yazılıdır. Sysctl, hostname ve saat eşitleme ayarları da aynı tanımdadır. Ajan node'u bu duruma getirir ve orada tutar.

  • Yalnız birlikte test edilmiş sürüm kombinasyonları kurulur. Kernel sabitlenir; işletim sisteminin otomatik güncellemeleri kümenin dengesini bozamaz.

  • Sapmanın türü düzeltme yolunu belirler

    Elle değiştirilen bir ayar profille karşılaştırılır. Kesinti gerektirmeyen sapma node hizmetteyken giderilir; kesinti gerektiren sapmada ürün hiçbir şeyi değiştirmez, durumu raporlar ve bakım penceresinde onaylı bir işlem bekler.

  • GPU, NVLink, InfiniBand, PCIe ve NUMA yapısı otomatik keşfedilir ve node'a uyan profil bu envantere göre eşleşir.

  • Ön kontroller katılımın ilk adımıdır; sıralaması Ürün sayfasında.

BareStax Core yapılandırması üründen üretilir ve dağıtılır

  • Yapılandırma üründen gelir

    BareStax Core yapılandırması ürün tarafından üretilir ve node'lara merkezden dağıtılır. İş muhasebesi kurulu gelir.

  • Her GPU sınıfının kendi kuyruğu vardır, CPU kuyrukları ayrıca tanımlanır. Kiracılar, kotalar ve fairshare aynı yapılandırmanın parçasıdır.

  • CPU payı GPU başına ayrılır

    Bir işin CPU payı aldığı GPU sayısına göre otomatik belirlenir. Çok node'lu eğitim işleri ağın gerçek bant genişliğine ulaşır.

  • İş doğrudan komut satırından gönderilebilir. Hazır şablonlu barestax run batch işlerini, dizi işlerini, çok node'lu torchrun eğitimini ve etkileşimli oturumları kapsar; portaldaki form da aynı işi görür.

  • Kesilebilir işler ve servisler ayrı ele alınır

    Kesilebilir (preemptible) işler tanımlanabilir. Node arızasında barestax run şablonlarıyla gönderilen işler güvenli biçimde yeniden kuyruğa alınır. Model sunucusu gibi uzun süreli servisler kendi kuyruğunda, servis kaydı ve korumasıyla çalışır; dış erişim kurumunuzun yük dengeleyicisinden verilir.

  • Bekleme nedeni açıkça görülür

    Araştırmacı işinin neden beklediğini ve kotasının ne durumda olduğunu kendisi görür.

barestax run -f is.yaml
barestax status
barestax quota

Hesap node'larında yalnız onaylı ve imzalı imaj çalışır

  • İşler Apptainer konteynerlerinde çalışır; Docker kullanılmaz.

  • İmaj bir onay hattından geçer

    Paketli OCI registry'ye alınan imaj taranır, iki ayrı kişinin onayıyla terfi eder ve küme anahtarıyla imzalanır. Bu hattan geçmemiş bir imajı hesap node'u başlatmaz; terfi bekleyenler konsoldaki imaj terfi kuyruğunda görünür.

  • Kendi registry'nizi ve kurumunuzun karşı imzasını bu hatta bağlayabilirsiniz.

  • İmaj değişmez, ortam kalıcıdır

    İmaj salt okunur kalır; paket ve model önbellekleri kullanıcının çalışma alanında tutulur.

Sağlık sinyalleri çalışan işi korumak için değerlendirilir

Tazelenmeyen bir sinyal canlı gibi gösterilmez, durum "bilinmiyor" olarak işaretlenir. Aynı anda en çok kaç node'un hizmet dışı kalabileceğini ve bakım pencerelerini kesinti bütçesiyle siz belirlersiniz.

  • Sinyaller donanımın her katmanından gelir

    GPU tarafında XID, ECC, row remapping, sıcaklık ve güç kısıtlaması izlenir. NVLink ve NVSwitch, InfiniBand ve RoCE bağlantıları, PCIe AER, EDAC bellek olayları, saat kalitesi, kritik servisler ve paylaşımlı depolama bağlantısı da değerlendirilir.

  • Arızalı node boşaltmaya (drain) alınır: yeni iş almaz, üzerindeki iş tamamlanır. Dalgalanma koruması, kısa süreli bir sinyal yüzünden gereksiz drain yapılmasını önler.

  • Operatör bir node'u elle de kenara alabilir (cordon); node yeni iş almaz, çalışan iş sürer ve bakım ya da derin tanıdan sonra işe döner.

  • Kurtarma kademelidir

    Sıra servis yeniden başlatma, işletim sistemini yeniden başlatma ve güç döngüsüdür; politikaya göre otomatik ya da onaylı yürür. Birçok node aynı anda arızalanırsa fırtına freni zinciri durdurur ve kümenin kendine zarar vermesini önler.

  • Etkilenen işler, kiracılar ve servisler doğrulanmış ve olası olarak ayrı listelenir; derin GPU tanısı da tek komutla çalışır. Head node'a ulaşılamadığında da yerel sağlık kapısı devrededir.

barestaxctl impact node gpu-07
barestaxctl node diagnose gpu-07 --deep

Air-gap kümede sürüm, imzalı ve içerik adresli bir paketle gelir

  • İnternet yalnız paketleyicinin tarafındadır

    Orada barestax-bundler çalışır; çıktısı imzalı ve içerik adresli bir sürüm paketidir.

  • Paket sınırı onaylı medya ya da diyotla geçer; içerideki doğrulama ve terfi adımları Kurulum sayfasında.

  • Upstream depoları sabitlendiği için aynı sürüm her kurulumda aynı içeriği verir; anahtar töreni ve güven bölümü Güvenlik sayfasında.

  • Kurulum kümenin içinden yapılır

    Node'lar paketleri head node'daki yerel depodan alır; kontrol düzleminin yükseltmesi de çevrimdışıdır.

Her bağlantı ve her kritik işlem doğrulanır

  • Kimlik sertifikaya bağlıdır

    Bileşenler birbirine kümenin kendi PKI'ından aldıkları sertifikalarla tanıtılır.

  • Kritik işlemler iki ayrı kişiden geçer, yetki altı role dağılır.

  • Kayıt geri yazılamaz

    Denetim kaydı hash zinciriyle korunur ve SIEM'e aktarılabilir.

  • Oturum kurumsal dizininizdeki ya da yerel hesaplarla açılır; yerleşik ikinci faktör ağsız ortamda da çalışır.

Ayrıntılar Güvenlik sayfasındadır.

İzleme ürünle birlikte kurulur ve uçtan uca sınanır

  • Head node dâhil exporter'lar, alarm kuralları ve hazır panolar ürünün parçasıdır.

  • Prometheus ve Alertmanager ile bütünleşir

    Exporter'lar standart Prometheus biçimindedir; kurumunuzun mevcut Prometheus ve Grafana kurulumu da aynı verileri okuyabilir. İzleme profili ürünle birlikte kurulabilir.

  • Alarm zinciri sınanır

    Test alarmı nöbetçiye ulaşır ve kodu onaylanır; alarmın gerçekten birine vardığını kurulum gününde bilirsiniz.

  • Kullanım raporu, bekleyen iş varken boşta kalan GPU oranını da içerir.

  • Isı haritası ve derin izleme panoları ürünün kendi ekranlarıdır, Konsol içinde durur.

barestaxctl alert test

Depolama ve BMC kümenin parçası olarak izlenir

  • NFS ve S3 hedefleri

    Paylaşımlı depolama istemcileri BareStax'in yönetimindedir; depolama sunucusunu ise BareStax kurmaz, sizin altyapınızdakine bağlanır.

  • Depolama bağlanmadan bir iş yerel diske sessizce yazmaz.

  • Bir depolama hedefinin durumu ve hangi işleri etkilediği etki görünümünde yer alır.

  • Redfish uyumlu BMC'ler

    Envanter, sensörler, olay günlüğü ve güç durumu okunur.

  • BMC üzerinden güç işlemi yalnız onaylı bir işlem olarak yürür.

Komut satırı operatörü ve araştırmacıyı ayrı araçlarla karşılar

  • barestaxctl operatör içindir

    Plan ve dry-run, küme sağlık raporu veren doctor, destek paketi ve alarm zinciri testi bu araçtadır. Node onayı, boşaltma, çıkarma, tanılama ve onay bekleyen işlemler de buradan yönetilir.

  • barestax araştırmacı içindir

    İş gönderme, durum, günlük, iptal, kota ve imaj komutlarını içerir.

  • İnsan için tablo, araçlar için JSON üretilir; aynı komut hem terminalde okunur hem bir betiğe bağlanır.

barestaxctl doctor
barestaxctl get nodes -o wide
barestaxctl operation list

Dört göz onayı, denetim kaydı ve kiracı yalıtımı Güvenlik sayfasında ayrıntılıdır