SambaStack Model カスタムリソース - SambaNova ドキュメント

Model は、各アーキテクチャでどのチェックポイントが利用可能かを、使用するトークナイザーとあわせて定義します。デプロイメントにとってのチェックポイントの供給元であり、チェックポイントのパスがバンドルやデプロイメントの中で宣言されることはありません。オペレーターは、参照された Model からパスを解決します。 Model リソースを自分で作成するのは、独自のチェックポイントを持ち込む場合です。すでにサポートされているアーキテクチャに対してカスタムチェックポイントをサービングする場合は、Model リソースを追加するだけでよく、プロファイルには手を加えません。 Model リソースは apiVersion: sambanova.ai/v1alpha1 を使用します。

チェックポイントとプロファイルの互換性は model_arch によって定義されますが、オペレーターはそれを検証しません。参照するプロファイルと互換性のあるアーキテクチャを持つチェックポイントを選択してください。利用可能なモデルとプロファイルの特定をご参照ください。

構造

apiVersion: sambanova.ai/v1alpha1
kind: Model
metadata:
  name: deepseek-v3-2
spec:
  name: DeepSeek-V3.2
  owner: no-reply@sambanova.ai
  checkpoints:
    deepseek:
      versions:
        "1":
          source: gs://<SAMBASTACK_ARTIFACTS_BUCKET>/path/to/checkpoint
          checkpoint_status: stable
          tool_support: true
  tokenizer:
    path: ./DeepSeek-V3.2_tokenizer
  metadata:
    capabilities:
      - text

フィールド	必須	説明
`metadata.name`	はい	Kubernetes リソース名。この値は `modelConfigs[].model` 参照で使用されます。
`spec.name`	はい	推論 API で使用されるサービング名。
`spec.aliases`	いいえ	このモデルにルーティングされる代替名。
`spec.checkpoints.<arch>`	はい	アーキテクチャをキーとするチェックポイント。`<arch>` キーは、このモデルとペアになるプロファイル内の PEF の `model_arch` 値と一致している必要があります。
`spec.checkpoints.<arch>.versions.<version>.source`	はい	モデルチェックポイントを指すパス。利用可能なチェックポイントは対応モデルとバンドルで確認できます。
`spec.checkpoints.<arch>.versions.<version>.checkpoint_status`	はい	このチェックポイントバージョンのライフサイクルステータス。PEF とチェックポイントのライフサイクルステータスをご参照ください。
`spec.checkpoints.<arch>.versions.<version>.tool_support`	いいえ	このチェックポイントがツールおよび Function calling (関数呼び出し) と互換性があるかどうか。デフォルトは `false` です。
`spec.checkpoints.<arch>.versions.<version>.vision_embedding_checkpoint`	いいえ	対になる Vision 埋め込みチェックポイント。マルチモーダルモデルで使用します。
`spec.tokenizer.path`	はい	使用するローカルトークナイザーへのパス。カスタムチェックポイントの場合は、そのチェックポイントの派生元であるベースモデルのトークナイザーを設定してください。
`spec.tokenizer.endpointUrls`	いいえ	トークナイザーリクエストの送信先 URL。リクエストごとに 1 つの URL がランダムに選択されます。
`spec.owner`	はい	追跡と通知に使用する、モデル所有者のメールアドレス。
`spec.tool_support`	いいえ	モデルがツールの利用をサポートするかどうか。
`spec.public`	いいえ	モデルを公開モデルリストに表示するかどうか。
`spec.metadata.capabilities`	はい	モデルが持つ機能。例: `text`、`vision`、`audio`、`embeddings`、`reasoning`。
`spec.metadata`	いいえ	モデル API とドキュメントに表示される追加のカタログメタデータ: `provider`、`license`、`overview`、`architecture`、`languages`、`category`、`text_only`、`vocabulary_size`。
`spec.expertFields`	いいえ	デプロイ時にこのモデルのすべてのエキスパートインスタンスに適用されるデフォルト値: `output_processor`、`postprocess_parser`、`enable_reasoning_effort`、`tiktoken_vocab_rel_path`。同じキーについてはバンドル側の値が優先されます。
`spec.price`	いいえ	モデルの料金: `input_tokens`、`output_tokens`、`input_cache_read`、`input_cache_write`、`input_audio_duration_per_hour`。
`spec.fallback`	いいえ	フォールバック設定。主にマルチモーダル対応に使用します。`model` と `when_missing` を取り、設定する場合は両方が必須です。
`spec.api_forward_url`	いいえ	このモデル宛てのトラフィックを別のクラスターに転送します。
`spec.maxNewTokens`	いいえ	このモデルへのリクエストが `max_tokens` を省略した場合に使用される `max_tokens` の値。サービスティアまたはコンテキストグループがオーバーライドしている場合を除きます。最小値 `1`。トークナイザーを経由してルーティングされるモデルにのみ適用されます。出力トークンの上限をご参照ください。
`spec.maxNewTokensHard`	いいえ	このモデルのどの生成も超えられない出力トークン数。サービスティアまたはコンテキストグループがオーバーライドしている場合を除きます。最小値 `1`。トークナイザーを経由してルーティングされるモデルにのみ適用されます。

SambaNova がホストするチェックポイントへのパスは、SambaNova の担当者から提供されます。独自にホストしているチェックポイントがある場合は、そのパスを上記の source フィールドに指定できます。

参考情報

ModelProfile

モデルとペアになるランタイム構成

カスタムチェックポイントのデプロイ

独自のチェックポイントを登録してサービングするワークフロー