SambaStack でのカスタムモデルバンドルの作成

複数のモデルを 1 つの単位としてサービングする場合、投機的デコーディングを設定する場合、または名前付きの構成を検証して共有する場合に、バンドルを作成します。バンドルは、1 つ以上のモデルとプロファイルのペアを組み合わせた、再利用可能な名前付きの ModelBundle リソースです。バンドルを作成しただけでは、サービングは開始されません。バンドルが検証に合格したら、バンドルのデプロイの説明に従って ModelDeployment でデプロイします。

バンドルは必須ではありません。単一のモデルをサービングする場合は、プロファイルと組み合わせて直接デプロイします。単一モデルのデプロイをご覧ください。

前提条件

バンドルを作成する前に、お使いの環境に応じたクイックスタートを完了してください。

クイックスタート - ホステッド

ホステッド版 SambaStack のシステムセットアップ

クイックスタート - オンプレミス

オンプレミス版 SambaStack のシステムセットアップ

あわせて、以下を確認してください。

モデル構成と Legalizer の結果を含む、ModelBundle のフィールドリファレンスをご確認ください。
バンドルに含めるモデルとプロファイルを特定し、各ペアに互換性があることを確認してください。利用可能なモデルとプロファイルの特定をご覧ください。
利用可能なモデルチェックポイントについては、対応モデルとバンドルをご確認ください。

バンドルの作成

YAML ファイルの作成

ModelBundle の YAML ファイルを作成します。

apiVersion: sambanova.ai/v1alpha1
kind: ModelBundle
metadata:
  name: mb-gpt120
spec:
  modelConfigs:
  - model: gpt-oss-120b:1
    profile: gpt-oss-fp8-dyt
    batchingConfig:
      8k:
        batch_sizes: [2]
      32k:
        batch_sizes: [2]
      64k:
        batch_sizes: [2]
      128k:
        batch_sizes: [2]

投機的デコーディングを含む複数モデルのバンドルについては、ModelBundle の構造の例をご覧ください。

ModelBundle の適用

Hosted
On Premise

kubectl apply -f <modelbundle-file>.yaml

kubectl -n <namespace> apply -f <modelbundle-file>.yaml

Legalizer による検証の確認

バンドルを適用すると Legalizer が自動的に実行され、構成が RDU のメモリに収まるかどうかを検証します。

Hosted
On Premise

kubectl describe modelbundle <bundle-name>

kubectl -n <namespace> describe modelbundle.sambanova.ai <bundle-name>

検証成功
検証失敗

Status:
  Conditions:
    Last Transition Time:  2026-06-22T21:11:05.689262+00:00
    Message:               ModelBundle is Valid
    Observed Generation:   1
    Reason:                ValidationSucceeded
    Status:                True
    Type:                  Valid

Status:
  Conditions:
    Last Transition Time:  2026-06-22T21:11:54.975311+00:00
    Message:               <error-details>
    Reason:                ValidationFailed
    Status:                False
    Type:                  Valid

Message フィールドには、Legalizer のエラーがある場合はそれを含む、エラーの詳細が含まれます。

メモリ使用率や警告を含む Legalizer の結果を直接確認するには、次を実行します。

kubectl get modelbundle <bundle-name> -o jsonpath='{.status.legalizerInfo}'

ステータスの完全な構造とフィールドの説明については、Legalizer の結果をご覧ください。

バンドルが ValidationSucceeded を示すまで、デプロイに進まないでください。

トラブルシューティング

バンドルは、デプロイ可能になる前に Legalizer によって検証されます。Legalizer が報告するエラーと警告、およびその解決方法については、Legalizer の検証失敗をご覧ください。

はじめに

サービス管理

ハードウェア管理

リファレンスアーキテクチャ

リソース

カスタムバンドルの作成

前提条件

クイックスタート - ホステッド

クイックスタート - オンプレミス

バンドルの作成

トラブルシューティング

次のステップ

バンドルのデプロイ

ModelBundle

​前提条件

クイックスタート - ホステッド

クイックスタート - オンプレミス

​バンドルの作成

​トラブルシューティング

​次のステップ

バンドルのデプロイ

ModelBundle

前提条件

バンドルの作成

トラブルシューティング

次のステップ