SambaStack 対応モデルとバンドル - SambaNova ドキュメント

SambaStack は、オンプレミス環境とホステッド環境の両方にデプロイできるさまざまなモデルをサポートしています。お使いのデプロイメントでどのモデルが利用可能かは、システム管理者にお問い合わせください。Preview (プレビュー) および Stable (安定版) の区分の定義、モデルがステージ間を移行する流れ、モデルの提供終了 (Retired) 前に届く通知、および提供終了の履歴については、SambaStack モデルライフサイクルをご参照ください。

カスタムチェックポイントは、decoder-only のテキスト生成モデルすべてでサポートされています。ただし、以下の例外があります。

モデル	理由
`Llama-4-Maverick-17B-128E-Instruct`, `MiniMax-M3`, `gemma-3-27b-it`, `gemma-3-12b-it`, `gemma-4-31B-it`	マルチモーダルであり、decoder-only のテキスト生成モデルではない
`Qwen3-32B`	変換パッケージが未提供
`Whisper-Large-v3`, `Qwen3-TTS-Talker`, `Qwen3-TTS-Vocoder`, `E5-Mistral-7B-Instruct`	テキスト生成モデルではない

チェックポイントの変換方法は、チェックポイント変換ツールをご参照ください。

デプロイオプション

SambaStack でモデルをデプロイする際、管理者はさまざまなコンテキスト長とバッチサイズの組み合わせから選択できます。

バッチサイズが小さいほど、トークンスループット (トークン/秒) が高くなります。
バッチサイズが大きいほど、複数ユーザーに対する同時実行性が向上します。

SambaStack は、高インタラクティビティ (high-interactivity) と高スループット (high-throughput) の 2 種類のデプロイ構成をサポートしています。それぞれの使い分けについては、高スループットデプロイをご参照ください。

クラスター上のモデルの確認

クラスターで利用可能なモデルは、次のコマンドで確認できます。

kubectl -n <namespace> get models

kubectl get models は API に送信する名前を返しません

このコマンドが一覧表示するのは、Kubernetes のリソース名 (metadata.name) です。推論リクエストにはサービング名 (spec.name) を使用する必要があり、以下の Model ID 見出しに記載されているのはこのサービング名です。

apiVersion: sambanova.ai/v1alpha1
kind: Model
metadata:
  name: gemma-4-31b-it    # Kubernetes resource name – what kubectl get models returns
spec:
  name: gemma-4-31B-it    # serving name – use this in API requests

両者は大文字・小文字や記号のみが異なることが多く、不一致に気づきにくくなっています。上の例では、1 文字だけ異なります。デプロイ済みモデルのサービング名を確認するには、次のコマンドを実行します。

kubectl -n <namespace> describe model <resource-name>

モデルには spec.aliases を定義することもできます。これは、同じモデルにルーティングされる追加の名前です。Model の全フィールドのリファレンスは、カスタムチェックポイントのデプロイをご覧ください。音声合成は、名前が一致しないケースの 1 つです。/v1/audio/speech には、talker や vocoder のリソース名ではなく qwen3-tts を指定してください。詳細は音声合成をご覧ください。

対応モデルの一覧

検索またはフィルターでモデルを探し、選択するとそのモデルの完全な構成へ移動できます。

MiniMax

MiniMax-M3

MiniMax-M2.7

MiniMax-M2.5

Mistral AI

Mistral-Large-3-675B-Instruct-2512

DeepSeek

DeepSeek-R1-0528

DeepSeek-R1-Distill-Llama-70B

DeepSeek-V3-0324

DeepSeek-V3.1

DeepSeek-V3.2

DeepSeek-V3.1-Terminus

OpenAI

gpt-oss-120b

gpt-oss-20b

Whisper-Large-v3

Google

gemma-3-27b-it

gemma-3-12b-it

gemma-4-31B-it

Alibaba Cloud

Qwen3-235B-A22B-Instruct-2507

Qwen3-32B

Qwen3-TTS-Talker

Qwen3-TTS-Vocoder

Tokyotech-llm

Llama-3.3-Swallow-70B-Instruct-v0.4

Other

E5-Mistral-7B-Instruct

推奨モデルバンドル

SambaStack のバンドルとは、1 つ以上のモデルを、バッチサイズやシーケンス長などの関連する構成と共にまとめたデプロイパッケージです。単一のモデルは、バンドルを作成せずに、モデルプロファイルと組み合わせて単体でデプロイすることもできます。例えば、Meta‑Llama‑3.3‑70B モデルをバッチサイズ 4、シーケンス長 16K トークンでデプロイする場合、これは 1 つの構成に相当します。一方、バンドルには、同じモデルまたは異なるモデルに対するこのような構成を複数含めることができます。 SambaNova の RDU 技術により、1 つのデプロイメント内に複数のモデルと構成を同時にロードできます。これにより、必要に応じてモデル間やバッチサイズ/シーケンス長のプロファイル間を即座に切り替えられます。デプロイが通常は単一モデルかつ静的である従来の GPU システムとは異なり、SambaStack はマルチモデル・マルチ構成のバンドルをサポートします。このアプローチにより、低レイテンシを維持しながら、より高い効率性、柔軟性、スループットを実現します。クラスターで利用可能なバンドルは、次のコマンドで確認できます。

kubectl -n <namespace> get modelbundles

以下の表は、SambaStack で現在利用可能なモデルに対する推奨バンドルの一覧です。各エントリは、モデルとその推奨デプロイバンドルの組み合わせを示しています。

以下に記載されたバンドルが推論要件を満たさない場合は、DDR メモリに収まる範囲で、任意のモデルと構成を組み合わせたカスタムバンドルを作成できます。

バンドル構成

以下の表は、各バンドルの構成の詳細です。

モデル名	バンドル名	バンドルの説明	バンドル構成
`DeepSeek-R1-0528` / `DeepSeek-V3.1`	deepseek-r1-v31-fp8-8k	中程度のコンテキスト長と低バッチサイズ	View Models: `DeepSeek-R1-0528` Seq Length: 8K, BS: 1, 4 `DeepSeek-V3.1` Seq Length: 8K, BS: 1, 4
`DeepSeek-R1-0528` / `DeepSeek-V3-0324`	deepseek-r1-v3-fp8-8k	中程度のコンテキスト長と低バッチサイズ	View Models: `DeepSeek-R1-0528` Seq Length: 8K, BS: 1, 4 `DeepSeek-V3-0324` Seq Length: 8K, BS: 1, 4
`DeepSeek-V3-0324` / `DeepSeek-V3.1`	deepseek-v3-v31-fp8-8k	中程度のコンテキスト長と低バッチサイズ	View Models: `DeepSeek-V3-0324` Seq Length: 8K, BS: 1, 4 `DeepSeek-V3.1` Seq Length: 8K, BS: 1, 4
`DeepSeek-V3-0324` / `DeepSeek-V3.1-Terminus`	deepseek-v3-v3termi-fp8-8k	中程度のコンテキスト長と低バッチサイズ	View Models: `DeepSeek-V3-0324` Seq Length: 8K, BS: 1, 4 `DeepSeek-V3.1-Terminus` Seq Length: 8K, BS: 1, 4
`DeepSeek-R1-0528` / `DeepSeek-V3-0324` / `DeepSeek-V3.1` / `DeepSeek-V3.1-Terminus`	deepseek-4in1-fp8-128k	長いコンテキスト長と単一バッチサイズ 4 つの DeepSeek モデルを 1 つのバンドルに集約	View Models: `DeepSeek-R1-0528` Seq Length: 128K, BS: 1 `DeepSeek-V3-0324` Seq Length: 128K, BS: 1 `DeepSeek-V3.1` Seq Length: 128K, BS: 1 `DeepSeek-V3.1-Terminus` Seq Length: 128K, BS: 1
`E5-Mistral-7B-Instruct` / `Meta-Llama-3.1-8B-Instruct` / `Llama-4-Maverick-17B-128E-Instruct` / `Meta-Llama-3.3-70B-Instruct` / `gpt-oss-120b`	us-agentic-rag-1-1	小〜中程度のコンテキスト長と多様なバッチサイズ `Meta-Llama-3.3-70B` で投機的デコーディングをサポート	View `gpt-oss-120b` Seq Length: 32K, BS: 4 Seq Length: 64K, BS: 2 Seq Length: 128K, BS: 2 `Llama-4-Maverick-17B-128E-Instruct` Seq Length: 8K, BS: 1 Seq Length: 16K, BS: 1 `Meta-Llama-3.3-70B` (Target)/ `Meta-Llama-3.2-1B` (Draft) Seq Length: 4K, BS: 1, 4, 8, 16, 32 Seq Length: 8K, BS: 1, 4, 8 Seq Length: 16K, BS: 1, 4 Seq Length: 32K, BS: 1, 4 Seq Length: 64K, BS: 1 Seq Length: 128K, BS: 1 `Meta-Llama-3.1-8B-Instruct` Seq Length: 4K, BS: 1, 4, 16, 32 Seq Length: 8K, BS: 1, 4, 16, 32 Seq Length: 16K, BS: 1, 4, 8 `E5-Mistral-7B-Instruct` Seq Length: 4K, BS: 1, 4, 8, 16, 32
`E5-Mistral-7B-Instruct` / `Meta-Llama-3.3-70B`	e5-mistral-70b-64k-128k	長いコンテキスト長と低バッチサイズ `Meta-Llama-3.3-70B` で投機的デコーディングをサポート	View Models: `E5-Mistral-7B-Instruct` Seq Length: 4K, BS: 1, 4, 8, 16, 32 `Meta-Llama-3.3-70B` (Target)/ `Meta-Llama-3.2-1B` (Draft) Seq Length: 64K, BS: 1 Seq Length: 128K, BS: 1
`gemma-3-27b-it`	gemma3-27b-32-128k	`gemma-3-27b-it` の構成のみを含む単一モデルバンドル (homogeneous bundle)。	View `gemma-3-27b-it` Seq Length: 32K, BS: 2, 4, 6, 8 Seq Length: 128K, BS: 2, 4, 6, 8
`gemma-3-12b-it`	gemma3-v3	`gemma-3-12b-it` の構成のみを含む単一モデルバンドル。長いコンテキスト長と中程度のバッチサイズ	View `gemma-3-12b-it` Seq Length: 128K, BS: 2, 4, 6, 8
`gemma-4-31B-it`	gemma-4-31b-32-128k	`gemma-4-31B-it` 向けの制約付きデコーディング (constrained decoding) に対応した単一モデルバンドル。テキスト・画像・動画入力に対応。	View `gemma-4-31B-it` Seq Length: 32K, BS: 2, 4, 6, 8 Seq Length: 128K, BS: 2, 4, 6, 8
`gemma-4-31B-it`	`gemma-4-31b-32-128-256k`	`gemma-4-31B-it` 向けの制約付きデコーディングに対応した単一モデルバンドル。最大 256K までのコンテキストサポートを追加。すべてのシーケンス長でテキスト・画像・動画入力に対応。	View `gemma-4-31B-it` Seq Length: 32K, BS: 2, 4, 6, 8 Seq Length: 128K, BS: 2, 4, 6, 8 Seq Length: 256K, BS: 2
`gemma-4-31B-it`^PREVIEW	`gemma-4-31b-mtp-cd-8-32-64-128k`	`gemma-4-31B-it` 向けのマルチトークン予測 (multi-token prediction; MTP) と制約付きデコーディングに対応した単一モデルバンドル。最大 128K のコンテキスト。すべてのシーケンス長でテキスト・画像・動画入力に対応。マルチトークン予測はデコードスループットを高めます。モデルが 1 ステップで複数のトークンを予測し、同じパス内で検証します。	View `gemma-4-31B-it` Seq Length: 8K, BS: 2, 4, 6, 8 Seq Length: 32K, BS: 2, 4, 6, 8 Seq Length: 64K, BS: 2, 4, 6, 8 Seq Length: 128K, BS: 2, 4, 6, 8
`gpt-oss-120b`	`cd-dyt-gpt-oss-120b-8-32-64-128k` †	`gpt-oss-120b` 向けの制約付きデコーディングに対応した単一モデルバンドル。 8K〜128K のコンテキストをカバー。構造化出力 (logit マスキング) のサポートを含む。	View `cd-dyt-gpt-oss-120b-8-32-64-128k` Seq Length: 8K, BS: 2, 4, 6, 8 Seq Length: 32K, BS: 2, 4, 6, 8 Seq Length: 64K, BS: 2, 4 Seq Length: 128K, BS: 2
`gpt-oss-20b`	`dyt-gpt-oss-20b-32-64-128k` †	`gpt-oss-20b` 向けの制約付きデコーディングに対応した単一モデルバンドル。	View `dyt-gpt-oss-20b-32-64-128k` Seq Length: 32K, BS: 2, 4, 6, 8 Seq Length: 64K, BS: 2, 4 Seq Length: 128K, BS: 2
`E5-Mistral-7B-Instruct` / `Whisper-Large-v3` / `gemma-3-12b-it` / `gpt-oss-120b`	gpt-gemma-whisper-mistral	Embedding、文字起こし、画像理解、ツール呼び出しエージェントを組み合わせた小〜中程度のコンテキスト長のバンドル	View Models: `E5-Mistral-7B-Instruct` Seq Length: 4K, BS: 1 `Whisper-Large-v3` BS: 1 `gemma-3-12b-it` Seq Length: 128K, BS: 2, 4, 6, 8 `gpt-oss-120b` Seq Length: 8K, BS: 2, 4, 6, 8
`Llama-4-Maverick-17B-128E-Instruct`	llama-4-medium-8-16-32-64-128k	`Llama-4-Maverick-17B-128E-Instruct` の構成のみを含む単一モデルバンドル。小〜長いコンテキスト長と低バッチサイズ	View `Llama-4-Maverick-17B-128E-Instruct` Seq Length: 8K, BS: 1 Seq Length: 16K, BS: 1 Seq Length: 32K, BS: 1 Seq Length: 64K, BS: 1 Seq Length: 128K, BS: 1
`Llama-4-Maverick-17B-128E-Instruct`	llama-4-medium-ss-16k-bs24	`Llama-4-Maverick-17B-128E-Instruct` の構成のみを含む単一モデルバンドル。中程度のコンテキスト長とより大きいバッチサイズ。	View `Llama-4-Maverick-17B-128E-Instruct` Seq Length: 16K, BS: 2, 4
`Meta-Llama-3.3-70B-Instruct`	70b-3dot3-ss-4-8-16-32-64-128k	中〜長のコンテキスト長と低バッチサイズ	View Target Models: `Meta-Llama-3.3-70B-Instruct` Seq Length: 4K, BS: 2, 4, 8, 16, 32 Seq Length: 8K, BS: 2, 4, 8, 16, 32 Seq Length: 16K, BS: 1, 2, 4 Seq Length: 32K, BS: 1, 2, 4 Seq Length: 64K, BS: 1, 2, 4 Seq Length: 128K, BS: 1 Draft Models: `Meta-Llama-3.2-1B-Instruct` Seq Length: 4K, BS: 2, 4, 8, 16, 32 Seq Length: 8K, BS: 2, 4, 8, 16, 32 Seq Length: 16K, BS: 1, 2, 4 Seq Length: 32K, BS: 1, 2, 4 Seq Length: 64K, BS: 1, 2, 4; private: true Seq Length: 128K, BS: 1; private: true
`Meta-Llama-3.3-70B-Instruct` / `Whisper-Large-v3`	70b-3dot3-ss-full-whisper	全レンジのコンテキスト長と低〜中程度のバッチサイズに加え、Whisper による文字起こしに対応 `Meta-Llama-3.3-70B-Instruct` で投機的デコーディングをサポート	View Target Models: `Meta-Llama-3.3-70B-Instruct` Seq Length: 4K, BS: 2, 4, 8, 16, 32 Seq Length: 8K, BS: 2, 4, 8, 16, 32 Seq Length: 16K, BS: 1, 2, 4 Seq Length: 32K, BS: 1, 2, 4 Seq Length: 64K, BS: 1, 2, 4 Seq Length: 128K, BS: 1 `Whisper-Large-v3` BS: 1, 16, 32 Draft Models: `Meta-Llama-3.2-1B-Instruct` Seq Length: 4K, BS: 2, 4, 8, 16, 32 Seq Length: 8K, BS: 2, 4, 8, 16, 32 Seq Length: 16K, BS: 1, 2, 4 Seq Length: 32K, BS: 1, 2, 4 Seq Length: 64K, BS: 1, 2, 4 Seq Length: 128K, BS: 1
`MiniMax-M2.5`	dyt-minimax-m2p5-32k dyt-minimax-m2p5-32-160k	`MiniMax-M2.5` の構成のみを含む単一モデルバンドル。 dyt-minimax-m2p5-32k は、中程度のシーケンス長と高バッチング向き。 dyt-minimax-m2p5-32-160k は、より長いシーケンス長と低バッチング向き	View dyt-minimax-m2p5-32k Seq Length: 4K-32K, BS: 2, 4, 6, 8 dyt-minimax-m2p5-32-160k Seq Length: 32K, BS: 2 Seq Length: 160K, BS: 2
`MiniMax-M2.7`	dyt-minimax-m2p7-32k-v2	`MiniMax-M2.7` の構成のみを含む単一モデルバンドル。中程度のコンテキスト長と高バッチング。	View `MiniMax-M2.7` Seq Length: 8K-32K, BS: 2, 4, 6, 8
`MiniMax-M2.7`	dyt-minimax-m2p7-32-160-192k	`MiniMax-M2.7` の構成のみを含む単一モデルバンドル。より長いシーケンス長と低バッチング向き。	View `MiniMax-M2.7` Seq Length: 8K-32K, BS: 2, 4, 6, 8 Seq Length: 160K-192K, BS: 2
`MiniMax-M2.7`	dyt-minimax-m2p7-32-64-160-192k-pc	`MiniMax-M2.7` 向けの Prompt Caching (プロンプトキャッシング) に対応した単一モデルバンドル。	View `MiniMax-M2.7` Seq Length: 8K-32K, BS: 2, 4, 6, 8 Seq Length: 64K, BS: 2, 4 Seq Length: 160K-192K, BS: 2
`MiniMax-M2.7`	dyt-minimax-m2p7-32-64-160-192k	`MiniMax-M2.7` の構成のみを含む単一モデルバンドル。`dyt-minimax-m2p7-32-64-160-192k-pc` と同じコンテキスト範囲で、Prompt Caching なし。	View `MiniMax-M2.7` Seq Length: 8K-32K, BS: 2, 4, 6, 8 Seq Length: 64K, BS: 2 Seq Length: 160K-192K, BS: 2
`MiniMax-M2.7`	dyt-minimax-m2p7-32k-pc	`MiniMax-M2.7` 向けの Prompt Caching に対応した単一モデルバンドル。中程度のコンテキスト長と高バッチング。	View `MiniMax-M2.7` Seq Length: 8K-32K, BS: 2, 4, 6, 8
`MiniMax-M3`^PREVIEW	minimax-m3-32k	`MiniMax-M3` の構成のみを含む単一モデルバンドル。中程度のコンテキスト長。テキスト・画像・動画入力に対応。	View `MiniMax-M3` Seq Length: 8K-32K, BS: 1, 2, 4
`MiniMax-M3`^PREVIEW	minimax-m3-512k	`MiniMax-M3` の構成のみを含む単一モデルバンドル。最大 512K のコンテキスト。すべてのシーケンス長でテキスト・画像・動画入力に対応。	View `MiniMax-M3` Seq Length: 8K-32K, BS: 1, 2, 4 Seq Length: 64K, BS: 1, 2, 4 Seq Length: 128K, BS: 1, 2, 4 Seq Length: 256K, BS: 1, 2, 4 Seq Length: 512K, BS: 1
`MiniMax-M3`^PREVIEW	minimax-m3-32-64-128-256-512k-1m	`MiniMax-M3` の構成のみを含む単一モデルバンドル。最大 1M のコンテキスト。すべてのシーケンス長でテキスト・画像・動画入力に対応。	View `MiniMax-M3` Seq Length: 8K-32K, BS: 1, 2, 4 Seq Length: 64K, BS: 1, 2, 4 Seq Length: 128K, BS: 1, 2, 4 Seq Length: 256K, BS: 1, 2, 4 Seq Length: 512K, BS: 1 Seq Length: 1M, BS: 1
`MiniMax-M3`^PREVIEW	`minimax-m3-acb-prefix-caching`	`MiniMax-M3` 向けの Prompt Caching、連続バッチング (continuous batching)、制約付きデコーディングに対応した単一モデルバンドル。最大 1M のコンテキスト。テキスト入力のみ。他の `MiniMax-M3` バンドルは、テキスト・画像・動画に対応します。	View `MiniMax-M3` Seq Length: 1M, BS: 2
`Mistral-Large-3-675B-Instruct-2512`^PREVIEW	mistral-large-3-fp8-8k	`Mistral-Large-3-675B-Instruct-2512` の構成のみを含む単一モデルバンドル。プレビューモデル – テキストのみ。	View `Mistral-Large-3-675B-Instruct-2512` Seq Length: 8K, BS: 1
`Mistral-Large-3-675B-Instruct-2512`^PREVIEW	mistral-large-3-fp8-8-16-32k	`Mistral-Large-3-675B-Instruct-2512` の構成のみを含む単一モデルバンドル。 `mistral-large-3-fp8-8k` より広いコンテキスト範囲。プレビューモデル – テキストのみ。	View `Mistral-Large-3-675B-Instruct-2512` Seq Length: 8K, BS: 1, 4 Seq Length: 16K, BS: 1, 2 Seq Length: 32K, BS: 1
`Qwen3-235B-A22B-Instruct-2507`	dyt-qwen3-235b-32-128k	`Qwen3-235B-A22B-Instruct-2507` の構成のみを含む単一モデルバンドル。	View `Qwen3-235B-A22B-Instruct-2507` Seq Length: 32K, BS: 2, 4, 6, 8 Seq Length: 128K, BS: 2
`Whisper-Large-v3` / `Qwen3-32B` / `E5-Mistral-7B-Instruct`	qwen3-32b-whisper-e5-mistral	小〜中程度のコンテキスト長と多様なバッチサイズ	View `E5-Mistral-7B-Instruct` Seq Length: 4K, BS: 1, 4, 8, 16, 32 `Qwen3-32B` Seq Length: 8K, BS: 1, 4 Seq Length: 16K, BS: 1 Seq Length: 32K, BS: 1, 2 `Whisper-Large-v3` BS: 1, 16, 32
`Qwen3-32B` / `Meta-Llama-3.1-405B-Instruct`	qwen3-32b-llama405b-s-m	小〜中程度のコンテキスト長 `Meta-Llama-3.1-405B-Instruct` で投機的デコーディングをサポート	View Target Models: `Meta-Llama-3.1-405B-Instruct` Seq Length: 4K, BS: 1, 2, 4 Seq Length: 8K, BS: 1 Seq Length: 16K, BS: 1 Draft Models: `Meta-Llama-3.1-8B-Instruct` Seq Length: 16K, BS: 1 `Meta-Llama-3.2-3B-Instruct` Seq Length: 4K, BS: 1, 2, 4 Seq Length: 8K, BS: 1 Routable Models: `Qwen3-32B` Seq Length: 8K, BS: 1, 4 Seq Length: 16K, BS: 1 Seq Length: 32K, BS: 1
`Qwen3-TTS-Talker`^PREVIEW	qwen3-tts-talker	`Qwen3-TTS-Talker` の構成のみを含む単一モデルバンドル。	View `Qwen3-TTS-Talker` Seq Length: 4K, BS: 2, 4, 8, 16
`Qwen3-TTS-Vocoder`^PREVIEW	qwen3-tts-vocoder	`Qwen3-TTS-Vocoder` の構成のみを含む単一モデルバンドル。	View `Qwen3-TTS-Vocoder` Codes length: 5, 8, 10, 16, BS: 16

† cd-dyt-gpt-oss-120b-8-32-64-128k は 8K〜128K、dyt-gpt-oss-20b-32-64-128k は 32K〜128K のシーケンス長をサポートします。いずれかのモデルでより短いコンテキスト長 (4K〜16K) が必要な場合は、SambaNova の担当者にお問い合わせください。

モデルごとの推奨バンドル

このセクションでは、モデルごとに、一般的な用途に適した推奨バンドルと、コンテキスト長・バッチサイズ・対応モダリティのトレードオフがある代替バンドルを記載します。各バンドルのシーケンス長/バッチサイズの詳細は、上記のバンドル構成をご参照ください。

開発元	モデル	推奨バンドル	代替バンドル
Meta	`Meta-Llama-3.3-70B-Instruct`	`70b-3dot3-ss-4-8-16-32-64-128k`	`70b-3dot3-ss-full-whisper`, `us-agentic-rag-1-1`, `e5-mistral-70b-64k-128k`
Meta	`Meta-Llama-3.1-8B-Instruct`	`us-agentic-rag-1-1`	`qwen3-32b-llama405b-s-m`
Meta	`Meta-Llama-3.1-405B-Instruct`	`qwen3-32b-llama405b-s-m`	—
Meta	`Llama-4-Maverick-17B-128E-Instruct`	`llama-4-medium-8-16-32-64-128k`	`llama-4-medium-ss-16k-bs24`, `us-agentic-rag-1-1`
MiniMax	`MiniMax-M3`^PREVIEW	`minimax-m3-32-64-128-256-512k-1m` (最大 1M のコンテキスト)	`minimax-m3-512k` (最大 512K のコンテキスト), `minimax-m3-32k`, `minimax-m3-acb-prefix-caching` (Prompt Caching を追加。テキストのみ)
MiniMax	`MiniMax-M2.7`	`dyt-minimax-m2p7-32-64-160-192k-pc` (Prompt Caching を追加)	`dyt-minimax-m2p7-32k-pc`, `dyt-minimax-m2p7-32-64-160-192k`, `dyt-minimax-m2p7-32-160-192k`, `dyt-minimax-m2p7-32k-v2`
MiniMax	`MiniMax-M2.5`	`dyt-minimax-m2p5-32-160k`	`dyt-minimax-m2p5-32k`
Mistral AI	`Mistral-Large-3-675B-Instruct-2512`^PREVIEW	`mistral-large-3-fp8-8-16-32k`	`mistral-large-3-fp8-8k`
DeepSeek	`DeepSeek-R1-0528`	`deepseek-4in1-fp8-128k` (長いコンテキスト長)	`deepseek-r1-v3-fp8-8k`, `deepseek-r1-v31-fp8-8k`
DeepSeek	`DeepSeek-V3-0324`	`deepseek-4in1-fp8-128k` (長いコンテキスト長)	`deepseek-r1-v3-fp8-8k`, `deepseek-v3-v31-fp8-8k`, `deepseek-v3-v3termi-fp8-8k`
DeepSeek	`DeepSeek-V3.1`	`deepseek-4in1-fp8-128k` (長いコンテキスト長)	`deepseek-r1-v31-fp8-8k`, `deepseek-v3-v31-fp8-8k`
DeepSeek	`DeepSeek-V3.1-Terminus`	`deepseek-4in1-fp8-128k` (長いコンテキスト長)	`deepseek-v3-v3termi-fp8-8k`
OpenAI	`gpt-oss-120b`	`us-agentic-rag-1-1`	`cd-dyt-gpt-oss-120b-8-32-64-128k`, `gpt-gemma-whisper-mistral`
OpenAI	`gpt-oss-20b`^PREVIEW	`dyt-gpt-oss-20b-32-64-128k`	—
OpenAI	`Whisper-Large-v3`	`qwen3-32b-whisper-e5-mistral`	`70b-3dot3-ss-full-whisper` (既知の問題: デフォルトの起動時間内にロードが完了しません), `gpt-gemma-whisper-mistral`
Google	`gemma-3-27b-it`^PREVIEW	`gemma3-27b-32-128k`	—
Google	`gemma-3-12b-it`^PREVIEW	`gemma3-v3`	`gpt-gemma-whisper-mistral`
Google	`gemma-4-31B-it`	`gemma-4-31b-32-128-256k` (256K コンテキストを追加。テキスト・画像・動画に対応)、`gemma-4-31b-32-128k` (最大 128K のコンテキスト。テキスト・画像・動画に対応、より高いスループット)。どちらのバンドルも、すべてのシーケンス長で制約付きデコーディングに対応しています。両者は機能ではなく、コンテキスト長とスループットで選択してください。	`gemma-4-31b-mtp-cd-8-32-64-128k` (Preview。マルチトークン予測、最大 128K のコンテキスト)
Alibaba Cloud	`Qwen3-235B-A22B-Instruct-2507`	`dyt-qwen3-235b-32-128k`	—
Alibaba Cloud	`Qwen3-32B`	`qwen3-32b-whisper-e5-mistral`	`qwen3-32b-llama405b-s-m`
Alibaba Cloud	`Qwen3-TTS-Talker`^PREVIEW	`qwen3-tts-talker`	—
Alibaba Cloud	`Qwen3-TTS-Vocoder`^PREVIEW	`qwen3-tts-vocoder`	—
Other	`E5-Mistral-7B-Instruct`	`us-agentic-rag-1-1`	`e5-mistral-70b-64k-128k`, `qwen3-32b-whisper-e5-mistral`, `gpt-gemma-whisper-mistral`

​デプロイオプション

​クラスター上のモデルの確認

​対応モデルの一覧

​Meta

​Meta-Llama-3.3-70B-Instruct

​Meta-Llama-3.1-8B-Instruct

​Meta-Llama-3.1-70B-Instruct

​Meta-Llama-3.1-405B-Instruct

​Llama-4-Maverick-17B-128E-Instruct

​MiniMax

​MiniMax-M3

​MiniMax-M2.7

​MiniMax-M2.5

​Mistral AI

​Mistral-Large-3-675B-Instruct-2512

​DeepSeek

​DeepSeek-R1-0528

​DeepSeek-R1-Distill-Llama-70B

​DeepSeek-V3-0324

​DeepSeek-V3.1

​DeepSeek-V3.2

​DeepSeek-V3.1-Terminus

​OpenAI

​gpt-oss-120b

​gpt-oss-20b

​Whisper-Large-v3

​Google

​gemma-3-27b-it

​gemma-3-12b-it

​gemma-4-31B-it

​Alibaba Cloud

​Qwen3-235B-A22B-Instruct-2507

​Qwen3-32B

​Qwen3-TTS-Talker

​Qwen3-TTS-Vocoder

​Tokyotech-llm

​Llama-3.3-Swallow-70B-Instruct-v0.4

​Other

​E5-Mistral-7B-Instruct

​推奨モデルバンドル

​バンドル構成

​モデルごとの推奨バンドル

デプロイオプション

クラスター上のモデルの確認

対応モデルの一覧

Meta

Meta-Llama-3.3-70B-Instruct

Meta-Llama-3.1-8B-Instruct

Meta-Llama-3.1-70B-Instruct

Meta-Llama-3.1-405B-Instruct

Llama-4-Maverick-17B-128E-Instruct

MiniMax

MiniMax-M3

MiniMax-M2.7

MiniMax-M2.5

Mistral AI

Mistral-Large-3-675B-Instruct-2512

DeepSeek

DeepSeek-R1-0528

DeepSeek-R1-Distill-Llama-70B

DeepSeek-V3-0324

DeepSeek-V3.1

DeepSeek-V3.2

DeepSeek-V3.1-Terminus

OpenAI

gpt-oss-120b

gpt-oss-20b

Whisper-Large-v3

Google

gemma-3-27b-it

gemma-3-12b-it

gemma-4-31B-it

Alibaba Cloud

Qwen3-235B-A22B-Instruct-2507

Qwen3-32B

Qwen3-TTS-Talker

Qwen3-TTS-Vocoder

Tokyotech-llm

Llama-3.3-Swallow-70B-Instruct-v0.4

Other

E5-Mistral-7B-Instruct

推奨モデルバンドル

バンドル構成

モデルごとの推奨バンドル