SambaStack 概要

SambaStack は、業界最高水準のパフォーマンスとエネルギー効率を備え、主要なオープンソースモデルを標準でサポートする、ターンキー型 (turnkey) の AI 推論プラットフォームです。クラウド (ホステッド) 版とオンプレミス版の両方で提供されます。 本ガイドは、以下を管理するシステム管理者を対象としています。

• ハードウェアインフラ
• Kubernetes クラスター
• 推論サービス (モデル、ユーザーグループ、アクセス制御)

管理者には、次のスキルが必要です。

• Linux システム管理
• Kubernetes の運用 (kubectl、Helm)
• ログ分析とトラブルシューティング
• システム認証情報の管理

​

デプロイメントオプション

​

SambaStack ホステッド

SambaStack ホステッドは、SambaNova が提供するフルマネージドのクラウドサービスです。基盤となるインフラを管理することなく、高性能な推論サービスを構築・運用できます。 AI ハードウェアと Kubernetes 環境は SambaNova が提供・保守します。お客様は、要件に応じて AI サービス (モデルの選択、ユーザーグループ、ユーザーなど) の設定と管理を行います。 ホステッド版 SambaStack を使い始めるには、クイックスタートガイド をご覧ください。

​

SambaStack オンプレミス

SambaStack オンプレミスは、お客様自身のデータセンターで稼働します。AI インフラ、Kubernetes 環境、デプロイする AI サービスを完全に管理できます。 モデルの選択、ユーザーグループ、ユーザーに至るまで、貴組織のニーズに合わせてすべてをエンドツーエンドで管理します。 オンプレミス版 SambaStack を使い始めるには、クイックスタートガイド をご覧ください。 この図は 2 つのゾーンを示しています。上側の Customer Provided (お客様提供) ゾーンでは、最上部にユーザーと開発者が位置し、そのリクエストはロードバランサーを経由してデータセンターネットワークに入ります。ストレージと、お客様が管理する 3 つのサービス – AUTH (OIDC)、DNS、NTP – がデータセンターネットワークに接続されます。GCP 上でホストされる SambaNova のアーティファクトリポジトリも、外部からデータセンターネットワークに接続されます。下側の SambaRack Cluster ゾーンは、100G/400G のフロントエンドネットワークを介してデータセンターネットワークに接続されます。このゾーン内では、Core Services Rack に 3 台の CP ノードと 1 台の SMS ノードが搭載されています。1 台以上の SambaRack SN40L-16 ユニットが、フロントエンドネットワークと SambaRack クラスタープライベートネットワークの両方に接続されます。管理者は、Core Services Rack に接続する独立した 1Gbps の管理ネットワークを通じてクラスターにアクセスします。

​

デプロイメント方式の比較

​

SambaRack のメモリ

SambaRack SN40L-16 システムは、12TB または 4TB の DDR メモリ構成でデプロイできます。メモリ容量が混在するクラスターも、クラスター全体で低い方のメモリ上限を使用するように設定されていればサポートされます。新規出荷される SN40L-16 ハードウェアはすべて 4TB の DDR メモリ構成です。既存の 12TB システムは、同一構成のクラスターでデプロイされている場合、引き続きフル容量で運用できます。SambaNova 提供のバンドルは 4TB システムで検証されています。また、SambaStack はクラスターレベルでのメモリ上限の適用にも対応しており、バンドル構成が宣言されたノード容量に収まることを保証できます。