高スループット vs. 高インタラクティビティ

​

デプロイ構成

{ "model": "DeepSeek-R1", "messages": [...] }

​

各構成の使いどころ

​

高スループット

• 多数の同時ユーザーにサービスを提供しており、ユーザーごとのレイテンシよりも総スループットが重要な場合
• ワークロードが非同期またはバッチ指向の場合 (例: ドキュメント処理やオフライン推論パイプライン)
• リクエストごとのエンドツーエンドのレイテンシが制約にならない場合

​

高インタラクティビティ

• リアルタイムのユーザー向けアプリケーションを構築している場合
• ユーザーごとの最初のトークンまでの時間 (TTFT) と 1 秒あたりのトークン数が主要な指標である場合
• デプロイのノード数が少ない場合や、ユーザーに対する厳しいレイテンシ要件がある場合

​

対応モデル

• DeepSeek-R1
• DeepSeek-V3-0324
• DeepSeek-V3.1
• DeepSeek-V3.1-Terminus
• DeepSeek-V3.2

​

アーキテクチャ

• 集約モード (ACB): プレフィルとデコードが同じノード上で同居して実行されます。
• 分離モード (DCB): プレフィルとデコードがそれぞれ専用の別ノードで実行されるため、各フェーズのサイズを独立して調整できます。推奨されるノード配分は、デコードノードよりプレフィルノードを多くすることです (例: プレフィルノード 3 台、デコードノード 1 台)。

• プレフィルノードは入力プロンプトを処理します
• デコードノードは出力トークンを生成します

​

要件と制限事項

​

PEF 構成

​

高スループット PEF

• 最長のプロンプトと想定される出力トークン数の合計が収まるシーケンス長 (ss) を選択してください。
• バッチサイズが大きいほど、ノードあたりでより多くの同時デコードリクエストを処理できますが、より多くの RDU メモリが必要です。表にはサポートされている組み合わせを記載しています。

​

高インタラクティビティ PEF

• プロンプトと想定される出力量の合計に合わせてシーケンス長を選択してください。
• bs1 はユーザーごとのレイテンシを最小化します。bs4 は、複数の同時ユーザーがいる場合に、わずかなレイテンシの増加と引き換えにノードあたりのスループットを高めます。

​

構成のデプロイ

kubectl -n <namespace> get modelprofiles -o json

apiVersion: sambanova.ai/v1alpha1
kind: ModelBundle
metadata:
  name: mb-deepseek-v3-2-high-throughput
spec:
  modelConfigs:
  - model: deepseek-v3-2:1
    profile: deepseek-cb

groups:
  - name: default
    continuous_batching:
      mode: aggregate
    minReplicas: 1
    qosList:
    - web
    - free

groups:
  - name: default
    continuous_batching:
      use_mpi: true
      prefill:
        minReplicas: 3
      decode:
        minReplicas: 1
    minReplicas: 1
    qosList:
    - web
    - free

​

デプロイの確認

kubectl describe modeldeployment <model-deployment-name>

​

構成の切り替え

​

デプロイの監視