> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sambanova.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 対応モデルとバンドル

SambaStack は、オンプレミス環境とホステッド環境の両方にデプロイできるさまざまなモデルをサポートしています。お使いのデプロイメントでどのモデルが利用可能かは、システム管理者にお問い合わせください。**Preview** (プレビュー) および **Production** (本番) の区分の定義については、[用語集](/docs/ja/resources/glossary.md)をご参照ください。

## デプロイオプション

SambaStack でモデルをデプロイする際、管理者はさまざまなコンテキスト長とバッチサイズの組み合わせから選択できます。

* バッチサイズが小さいほど、トークンスループット (トークン/秒) が高くなります。
* バッチサイズが大きいほど、複数ユーザーに対する同時実行性が向上します。

SambaStack は、高インタラクティビティ (high-interactivity) と高スループット (high-throughput) の 2 種類のデプロイ構成をサポートしています。それぞれの使い分けについては、[高スループットデプロイ](/docs/ja/v2.1.1/sambastack/service-administration/model-deployment/deploying-models-and-bundles/deployment-configurations.md)をご参照ください。

## クラスター上のモデルの確認

クラスターで利用可能なモデルは、次のコマンドで確認できます。

```shellscript theme={}
kubectl -n <namespace> get models
```

> **kubectl get models は API に送信する名前を返しません**
>
> このコマンドが一覧表示するのは、Kubernetes のリソース名 (`metadata.name`) です。推論リクエストにはサービング名 (`spec.name`) を使用する必要があり、以下の **Model ID** 見出しに記載されているのはこのサービング名です。
>
> ```yaml theme={}
> apiVersion: sambanova.ai/v1alpha1
> kind: Model
> metadata:
>   name: gemma-4-31b-it    # Kubernetes resource name – what kubectl get models returns
> spec:
>   name: gemma-4-31B-it    # serving name – use this in API requests
> ```
>
> 両者は大文字・小文字や記号のみが異なることが多く、不一致に気づきにくくなっています。上の例では、1 文字だけ異なります。
>
> デプロイ済みモデルのサービング名を確認するには、次のコマンドを実行します。
>
> ```shellscript theme={}
> kubectl -n <namespace> describe model <resource-name>
> ```
>
> モデルには `spec.aliases` を定義することもできます。これは、同じモデルにルーティングされる追加の名前です。`Model` の全フィールドのリファレンスは、[カスタムチェックポイントのデプロイ](/docs/ja/v2.1.1/sambastack/service-administration/model-deployment/deploying-models-and-bundles/deploy-custom-checkpoints.md)をご覧ください。
>
> 音声合成は、名前が一致しないケースの 1 つです。`/v1/audio/speech` には、talker や vocoder のリソース名ではなく `qwen3-tts` を指定してください。詳細は[音声合成](/docs/ja/features/speech.md)をご覧ください。

## 対応モデルの一覧

検索またはフィルターでモデルを探し、選択するとそのモデルの完全な構成へ移動できます。

All providers

All modalities

— select one to jump to its full
configuration below

## Meta

### Meta-Llama-3.3-70B-Instruct

<details>
  <summary>
    Meta

    Meta-Llama-3.3-70B-Instruct

    Task agent, Tool-calling agent, Text to SQL/Cipher
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)
</details>

### Meta-Llama-3.1-8B-Instruct

<details>
  <summary>
    Meta

    Meta-Llama-3.1-8B-Instruct

    Gateway agent, Validation agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct)
</details>

### Meta-Llama-3.1-70B-Instruct

<details>
  <summary>
    Meta

    Meta-Llama-3.1-70B-Instruct

    Task agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-3.1-70B-Instruct)
</details>

### Meta-Llama-3.1-405B-Instruct

<details>
  <summary>
    Meta

    Meta-Llama-3.1-405B-Instruct

    Task agent, Tool-calling agent, Code generation
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-3.1-405B-Instruct)
</details>

### Llama-4-Maverick-17B-128E-Instruct

<details>
  <summary>
    Meta

    Llama-4-Maverick-17B-128E-Instruct

    Image understanding, Task agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-4-Maverick-17B-128E-Instruct)
</details>

## MiniMax

### MiniMax-M3

<details>
  <summary>
    MiniMax

    MiniMax-M3

    Coding agent, Long-context agentic tasks, Image and video understanding
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/MiniMaxAI/MiniMax-M3)
</details>

### MiniMax-M2.7

<details>
  <summary>
    MiniMax

    MiniMax-M2.7

    Coding agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/MiniMaxAI/MiniMax-M2.7)
</details>

### MiniMax-M2.5

<details>
  <summary>
    MiniMax

    MiniMax-M2.5

    Coding agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/MiniMaxAI/MiniMax-M2.5)
</details>

## Mistral AI

### Mistral-Large-3-675B-Instruct-2512

<details>
  <summary>
    Mistral AI

    Mistral-Large-3-675B-Instruct-2512

    Multilingual instruction following, Task agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512)
</details>

## DeepSeek

### DeepSeek-R1-0528

<details>
  <summary>
    DeepSeek

    DeepSeek-R1-0528

    Complex reasoning
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-R1-0528)
</details>

### DeepSeek-R1-Distill-Llama-70B

<details>
  <summary>
    DeepSeek

    DeepSeek-R1-Distill-Llama-70B

    Complex reasoning
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-70B)
</details>

### DeepSeek-V3-0324

<details>
  <summary>
    DeepSeek

    DeepSeek-V3-0324

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-V3-0324)
</details>

### DeepSeek-V3.1

<details>
  <summary>
    DeepSeek

    DeepSeek-V3.1

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-V3.1)
</details>

### DeepSeek-V3.2

<details>
  <summary>
    DeepSeek

    DeepSeek-V3.2

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-V3.2)
</details>

### DeepSeek-V3.1-Terminus

<details>
  <summary>
    DeepSeek

    DeepSeek-V3.1-Terminus

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Terminus)
</details>

## OpenAI

### gpt-oss-120b

<details>
  <summary>
    OpenAI

    gpt-oss-120b

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/openai/gpt-oss-120b)
</details>

### gpt-oss-20b

<details>
  <summary>
    OpenAI

    gpt-oss-20b

    Main/planner agent, Tool-calling agent, Reasoning
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/openai/gpt-oss-20b)
</details>

### Whisper-Large-v3

<details>
  <summary>
    OpenAI

    Whisper-Large-v3

    Automatic speech recognition (ASR), Audio transcription
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/openai/whisper-large-v3)
</details>

## Google

### gemma-3-27b-it

<details>
  <summary>
    Google

    gemma-3-27b-it

    Image understanding, Task agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/google/gemma-3-27b-it)
</details>

### gemma-3-12b-it

<details>
  <summary>
    Google

    gemma-3-12b-it

    Image understanding, Task agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/google/gemma-3-12b-it)
</details>

### gemma-4-31B-it

<details>
  <summary>
    Google

    gemma-4-31B-it

    Image and video understanding, Task agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/google/gemma-4-31B-it)
</details>

## Alibaba Cloud

### Qwen3-235B-A22B-Instruct-2507

<details>
  <summary>
    Alibaba Cloud

    Qwen3-235B-A22B-Instruct-2507

    Agentic planner, Multilingual instruction following
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507)
</details>

### Qwen3-32B

<details>
  <summary>
    Alibaba Cloud

    Qwen3-32B

    Task agent, Multilingual instruction following
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/Qwen/Qwen3-32B)
</details>

### Qwen3-TTS-Talker

<details>
  <summary>
    Alibaba Cloud

    Qwen3-TTS-Talker

    Text-to-speech
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/collections/Qwen/qwen3-tts)
</details>

### Qwen3-TTS-Vocoder

<details>
  <summary>
    Alibaba Cloud

    Qwen3-TTS-Vocoder

    Audio synthesis
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/collections/Qwen/qwen3-tts)
</details>

## Tokyotech-llm

### Llama-3.3-Swallow-70B-Instruct-v0.4

<details>
  <summary>
    Tokyotech-llm

    Llama-3.3-Swallow-70B-Instruct-v0.4

    Japanese instruction following, Task agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/tokyotech-llm/Llama-3.3-Swallow-70B-Instruct-v0.4)
</details>

## Other

### E5-Mistral-7B-Instruct

<details>
  <summary>
    Other

    E5-Mistral-7B-Instruct

    Vector storage and retrieval (RAG)
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/intfloat/e5-mistral-7b-instruct)
</details>

## 推奨モデルバンドル

SambaStack のバンドルとは、1 つ以上のモデルを、バッチサイズやシーケンス長などの関連する構成と共にまとめたデプロイパッケージです。単一のモデルは、バンドルを作成せずに、モデルプロファイルと組み合わせて単体でデプロイすることもできます。

例えば、`Meta‑Llama‑3.3‑70B` モデルをバッチサイズ 4、シーケンス長 16K トークンでデプロイする場合、これは 1 つの構成に相当します。一方、バンドルには、同じモデルまたは異なるモデルに対するこのような構成を複数含めることができます。

SambaNova の RDU 技術により、1 つのデプロイメント内に複数のモデルと構成を同時にロードできます。これにより、必要に応じてモデル間やバッチサイズ/シーケンス長のプロファイル間を即座に切り替えられます。デプロイが通常は単一モデルかつ静的である従来の GPU システムとは異なり、SambaStack はマルチモデル・マルチ構成のバンドルをサポートします。このアプローチにより、低レイテンシを維持しながら、より高い効率性、柔軟性、スループットを実現します。

クラスターで利用可能なバンドルは、次のコマンドで確認できます。

```shellscript theme={}
kubectl -n <namespace> get modelbundles
```

以下の表は、SambaStack で現在利用可能なモデルに対する推奨バンドルの一覧です。各エントリは、モデルとその推奨デプロイバンドルの組み合わせを示しています。

> [!NOTE]
>
> 以下に記載されたバンドルが推論要件を満たさない場合は、DDR メモリに収まる範囲で、任意のモデルと構成を組み合わせた[カスタムバンドル](/docs/ja/v2.1.1/sambastack/service-administration/model-deployment/deploying-models-and-bundles/create-a-custom-bundle.md)を作成できます。

### バンドル構成

以下の表は、各バンドルの構成の詳細です。

| モデル名 | バンドル名 | バンドルの説明 | バンドル構成 |
| - | :- | :- | :- |
| `DeepSeek-R1-0528` / `DeepSeek-V3.1` | deepseek-r1-v31-fp8-8k | <ul><li>中程度のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`DeepSeek-R1-0528`<ul><li>Seq Length: 8K, BS: 1, 4</li></ul></li><li>`DeepSeek-V3.1`<ul><li>Seq Length: 8K, BS: 1, 4</li></ul></li></ul></details> |
| `DeepSeek-R1-0528` / `DeepSeek-V3-0324` | deepseek-r1-v3-fp8-8k | <ul><li>中程度のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`DeepSeek-R1-0528`<ul><li>Seq Length: 8K, BS: 1, 4</li></ul></li><li>`DeepSeek-V3-0324`<ul><li>Seq Length: 8K, BS: 1, 4</li></ul></li></ul></details> |
| `DeepSeek-V3-0324` / `DeepSeek-V3.1` | deepseek-v3-v31-fp8-8k | <ul><li>中程度のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`DeepSeek-V3-0324`<ul><li>Seq Length: 8K, BS: 1, 4</li></ul></li><li>`DeepSeek-V3.1`<ul><li>Seq Length: 8K, BS: 1, 4</li></ul></li></ul></details> |
| `DeepSeek-V3-0324` / `DeepSeek-V3.1-Terminus` | deepseek-v3-v3termi-fp8-8k | <ul><li>中程度のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`DeepSeek-V3-0324`<ul><li>Seq Length: 8K, BS: 1, 4</li></ul></li><li>`DeepSeek-V3.1-Terminus`<ul><li>Seq Length: 8K, BS: 1, 4</li></ul></li></ul></details> |
| `DeepSeek-R1-0528` / `DeepSeek-V3-0324` / `DeepSeek-V3.1` / `DeepSeek-V3.1-Terminus` | deepseek-4in1-fp8-128k | <ul><li>長いコンテキスト長と単一バッチサイズ</li><li>4 つの DeepSeek モデルを 1 つのバンドルに集約</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`DeepSeek-R1-0528`<ul><li>Seq Length: 128K, BS: 1</li></ul></li><li>`DeepSeek-V3-0324`<ul><li>Seq Length: 128K, BS: 1</li></ul></li><li>`DeepSeek-V3.1`<ul><li>Seq Length: 128K, BS: 1</li></ul></li><li>`DeepSeek-V3.1-Terminus`<ul><li>Seq Length: 128K, BS: 1</li></ul></li></ul></details> |
| `E5-Mistral-7B-Instruct` / `Meta-Llama-3.1-8B-Instruct` / `Llama-4-Maverick-17B-128E-Instruct` / `Meta-Llama-3.3-70B-Instruct` / `gpt-oss-120b` | us-agentic-rag-1-1 | <ul><li>小〜中程度のコンテキスト長と多様なバッチサイズ</li><li>`Meta-Llama-3.3-70B` で[投機的デコーディング](/docs/ja/v2.1.1/sambastack/service-administration/performance/deploy-with-speculative-decoding.md)をサポート</li></ul> | <details><summary>View</summary><ul><li>`gpt-oss-120b`<ul><li>Seq Length: 32K, BS: 4</li><li>Seq Length: 64K, BS: 2</li><li>Seq Length: 128K, BS: 2</li></ul></li><li>`Llama-4-Maverick-17B-128E-Instruct`<ul><li>Seq Length: 8K, BS: 1</li><li>Seq Length: 16K, BS: 1</li></ul></li><li>`Meta-Llama-3.3-70B` (Target)/ `Meta-Llama-3.2-1B` (Draft)<ul><li>Seq Length: 4K, BS: 1, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 1, 4, 8</li><li>Seq Length: 16K, BS: 1, 4</li><li>Seq Length: 32K, BS: 1, 4</li><li>Seq Length: 64K, BS: 1</li><li>Seq Length: 128K, BS: 1</li></ul></li><li>`Meta-Llama-3.1-8B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 4, 16, 32</li><li>Seq Length: 8K, BS: 1, 4, 16, 32</li><li>Seq Length: 16K, BS: 1, 4, 8</li></ul></li><li>`E5-Mistral-7B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 4, 8, 16, 32</li></ul></li></ul></details> |
| `E5-Mistral-7B-Instruct` / `Meta-Llama-3.3-70B` | e5-mistral-70b-64k-128k | <ul><li>長いコンテキスト長と低バッチサイズ</li><li>`Meta-Llama-3.3-70B` で[投機的デコーディング](/docs/ja/v2.1.1/sambastack/service-administration/performance/deploy-with-speculative-decoding.md)をサポート</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`E5-Mistral-7B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 4, 8, 16, 32</li></ul></li><li>`Meta-Llama-3.3-70B` (Target)/ `Meta-Llama-3.2-1B` (Draft)<ul><li>Seq Length: 64K, BS: 1</li><li>Seq Length: 128K, BS: 1</li></ul></li></ul></details> |
| `gemma-3-27b-it` | gemma3-27b-32-128k | `gemma-3-27b-it` の構成のみを含む単一モデルバンドル (homogeneous bundle)。 | <details><summary>View</summary><ul><li>`gemma-3-27b-it`<ul><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 128K, BS: 2, 4, 6, 8</li></ul></li></ul></details> |
| `gemma-3-12b-it` | gemma3-v3 | <ul><li>`gemma-3-12b-it` の構成のみを含む単一モデルバンドル。</li><li>長いコンテキスト長と中程度のバッチサイズ</li></ul> | <details><summary>View</summary><ul><li>`gemma-3-12b-it`<ul><li>Seq Length: 128K, BS: 2, 4, 6, 8</li></ul></li></ul></details> |
| `gemma-4-31B-it` | gemma-4-31b-32-128k | `gemma-4-31B-it` 向けの制約付きデコーディング (constrained decoding) に対応した単一モデルバンドル。テキスト・画像・動画入力に対応。 | <details><summary>View</summary><ul><li>`gemma-4-31B-it`<ul><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 128K, BS: 2, 4, 6, 8</li></ul></li></ul></details> |
| `gemma-4-31B-it` | `gemma-4-31b-32-128-256k` | <ul><li>`gemma-4-31B-it` 向けの制約付きデコーディングに対応した単一モデルバンドル。最大 256K までのコンテキストサポートを追加。すべてのシーケンス長でテキスト・画像・動画入力に対応。</li></ul> | <details><summary>View</summary><ul><li>`gemma-4-31B-it`<ul><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 128K, BS: 2, 4, 6, 8</li><li>Seq Length: 256K, BS: 2</li></ul></li></ul></details> |
| `gpt-oss-120b` | `cd-dyt-gpt-oss-120b-8-32-64-128k` † | <ul><li>`gpt-oss-120b` 向けの制約付きデコーディングに対応した単一モデルバンドル。</li><li>8K〜128K のコンテキストをカバー。</li><li>構造化出力 (logit マスキング) のサポートを含む。</li></ul> | <details><summary>View</summary><ul><li>`cd-dyt-gpt-oss-120b-8-32-64-128k`<ul><li>Seq Length: 8K, BS: 2, 4, 6, 8</li><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 64K, BS: 2, 4</li><li>Seq Length: 128K, BS: 2</li></ul></li></ul></details> |
| `gpt-oss-20b` | `dyt-gpt-oss-20b-32-64-128k` † | `gpt-oss-20b` 向けの制約付きデコーディングに対応した単一モデルバンドル。 | <details><summary>View</summary><ul><li>`dyt-gpt-oss-20b-32-64-128k`<ul><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 64K, BS: 2, 4</li><li>Seq Length: 128K, BS: 2</li></ul></li></ul></details> |
| `E5-Mistral-7B-Instruct` / `Whisper-Large-v3` / `gemma-3-12b-it` / `gpt-oss-120b` | gpt-gemma-whisper-mistral | <ul><li>Embedding、文字起こし、画像理解、ツール呼び出しエージェントを組み合わせた小〜中程度のコンテキスト長のバンドル</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`E5-Mistral-7B-Instruct`<ul><li>Seq Length: 4K, BS: 1</li></ul></li><li>`Whisper-Large-v3`<ul><li>BS: 1</li></ul></li><li>`gemma-3-12b-it`<ul><li>Seq Length: 128K, BS: 2, 4, 6, 8</li></ul></li><li>`gpt-oss-120b`<ul><li>Seq Length: 8K, BS: 2, 4, 6, 8</li></ul></li></ul></details> |
| `Llama-4-Maverick-17B-128E-Instruct` | llama-4-medium-8-16-32-64-128k | <ul><li>`Llama-4-Maverick-17B-128E-Instruct` の構成のみを含む単一モデルバンドル。</li><li>小〜長いコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary><ul><li>`Llama-4-Maverick-17B-128E-Instruct`<ul><li>Seq Length: 8K, BS: 1</li><li>Seq Length: 16K, BS: 1</li><li>Seq Length: 32K, BS: 1</li><li>Seq Length: 64K, BS: 1</li><li>Seq Length: 128K, BS: 1</li></ul></li></ul></details> |
| `Llama-4-Maverick-17B-128E-Instruct` | llama-4-medium-ss-16k-bs24 | `Llama-4-Maverick-17B-128E-Instruct` の構成のみを含む単一モデルバンドル。中程度のコンテキスト長とより大きいバッチサイズ。 | <details><summary>View</summary><ul><li>`Llama-4-Maverick-17B-128E-Instruct`<ul><li>Seq Length: 16K, BS: 2, 4</li></ul></li></ul></details> |
| `Meta-Llama-3.3-70B-Instruct` | 70b-3dot3-ss-4-8-16-32-64-128k | <ul><li>中〜長のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Target Models:**<ul><li>`Meta-Llama-3.3-70B-Instruct`<ul><li>Seq Length: 4K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 16K, BS: 1, 2, 4</li><li>Seq Length: 32K, BS: 1, 2, 4</li><li>Seq Length: 64K, BS: 1, 2, 4</li><li>Seq Length: 128K, BS: 1</li></ul></li></ul>**Draft Models:**<ul><li>`Meta-Llama-3.2-1B-Instruct`<ul><li>Seq Length: 4K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 16K, BS: 1, 2, 4</li><li>Seq Length: 32K, BS: 1, 2, 4</li><li>Seq Length: 64K, BS: 1, 2, 4; private: true</li><li>Seq Length: 128K, BS: 1; private: true</li></ul></li></ul></details> |
| `Meta-Llama-3.3-70B-Instruct` / `Whisper-Large-v3` | 70b-3dot3-ss-full-whisper | <ul><li>全レンジのコンテキスト長と低〜中程度のバッチサイズに加え、Whisper による文字起こしに対応</li><li>`Meta-Llama-3.3-70B-Instruct` で[投機的デコーディング](/docs/ja/v2.1.1/sambastack/service-administration/performance/deploy-with-speculative-decoding.md)をサポート</li></ul> | <details><summary>View</summary>**Target Models:**<ul><li>`Meta-Llama-3.3-70B-Instruct`<ul><li>Seq Length: 4K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 16K, BS: 1, 2, 4</li><li>Seq Length: 32K, BS: 1, 2, 4</li><li>Seq Length: 64K, BS: 1, 2, 4</li><li>Seq Length: 128K, BS: 1</li></ul></li><li>`Whisper-Large-v3`<ul><li>BS: 1, 16, 32</li></ul></li></ul>**Draft Models:**<ul><li>`Meta-Llama-3.2-1B-Instruct`<ul><li>Seq Length: 4K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 16K, BS: 1, 2, 4</li><li>Seq Length: 32K, BS: 1, 2, 4</li><li>Seq Length: 64K, BS: 1, 2, 4</li><li>Seq Length: 128K, BS: 1</li></ul></li></ul></details> |
| `MiniMax-M2.5` | <ul><li>dyt-minimax-m2p5-32k</li><li>dyt-minimax-m2p5-32-160k</li></ul> | <ul><li>`MiniMax-M2.5` の構成のみを含む単一モデルバンドル。</li><li>dyt-minimax-m2p5-32k は、中程度のシーケンス長と高バッチング向き。</li><li>dyt-minimax-m2p5-32-160k は、より長いシーケンス長と低バッチング向き</li></ul> | <details><summary>View</summary><ul><li>dyt-minimax-m2p5-32k<ul><li>Seq Length: 4K-32K, BS: 2, 4, 6, 8</li></ul></li></ul><ul><li>dyt-minimax-m2p5-32-160k<ul><li>Seq Length: 32K, BS: 2</li><li>Seq Length: 160K, BS: 2</li></ul></li></ul></details> |
| `MiniMax-M2.7` | dyt-minimax-m2p7-32k-v2 | `MiniMax-M2.7` の構成のみを含む単一モデルバンドル。中程度のコンテキスト長と高バッチング。 | <details><summary>View</summary><ul><li>`MiniMax-M2.7`<ul><li>Seq Length: 8K-32K, BS: 2, 4, 6, 8</li></ul></li></ul></details> |
| `MiniMax-M2.7` | dyt-minimax-m2p7-32-160-192k | `MiniMax-M2.7` の構成のみを含む単一モデルバンドル。より長いシーケンス長と低バッチング向き。 | <details><summary>View</summary><ul><li>`MiniMax-M2.7`<ul><li>Seq Length: 8K-32K, BS: 2, 4, 6, 8</li><li>Seq Length: 160K-192K, BS: 2</li></ul></li></ul></details> |
| `MiniMax-M2.7` | dyt-minimax-m2p7-32-64-160-192k-pc | `MiniMax-M2.7` 向けの Prompt Caching (プロンプトキャッシング) に対応した単一モデルバンドル。 | <details><summary>View</summary><ul><li>`MiniMax-M2.7`<ul><li>Seq Length: 8K-32K, BS: 2, 4, 6, 8</li><li>Seq Length: 64K, BS: 2, 4</li><li>Seq Length: 160K-192K, BS: 2</li></ul></li></ul></details> |
| `MiniMax-M2.7` | dyt-minimax-m2p7-32-64-160-192k | <ul><li>`MiniMax-M2.7` の構成のみを含む単一モデルバンドル。`dyt-minimax-m2p7-32-64-160-192k-pc` と同じコンテキスト範囲で、Prompt Caching なし。</li></ul> | <details><summary>View</summary><ul><li>`MiniMax-M2.7`<ul><li>Seq Length: 8K-32K, BS: 2, 4, 6, 8</li><li>Seq Length: 64K, BS: 2</li><li>Seq Length: 160K-192K, BS: 2</li></ul></li></ul></details> |
| `MiniMax-M2.7` | dyt-minimax-m2p7-32k-pc | `MiniMax-M2.7` 向けの Prompt Caching に対応した単一モデルバンドル。中程度のコンテキスト長と高バッチング。 | <details><summary>View</summary><ul><li>`MiniMax-M2.7`<ul><li>Seq Length: 8K-32K, BS: 2, 4, 6, 8</li></ul></li></ul></details> |
| `MiniMax-M3`<sup>PREVIEW</sup> | minimax-m3-32k | `MiniMax-M3` の構成のみを含む単一モデルバンドル。中程度のコンテキスト長。テキスト・画像・動画入力に対応。 | <details><summary>View</summary><ul><li>`MiniMax-M3`<ul><li>Seq Length: 8K-32K, BS: 1, 2, 4</li></ul></li></ul></details> |
| `MiniMax-M3`<sup>PREVIEW</sup> | minimax-m3-32-64-128-256-512k-1m | <ul><li>`MiniMax-M3` の構成のみを含む単一モデルバンドル。</li><li>最大 1M のコンテキスト。すべてのシーケンス長でテキスト・画像・動画入力に対応。</li></ul> | <details><summary>View</summary><ul><li>`MiniMax-M3`<ul><li>Seq Length: 8K-32K, BS: 1, 2, 4</li><li>Seq Length: 64K, BS: 1, 2, 4</li><li>Seq Length: 128K, BS: 1, 2, 4</li><li>Seq Length: 256K, BS: 1, 2, 4</li><li>Seq Length: 512K, BS: 1</li><li>Seq Length: 1M, BS: 1</li></ul></li></ul></details> |
| `Mistral-Large-3-675B-Instruct-2512`<sup>PREVIEW</sup> | mistral-large-3-fp8-8k | <ul><li>`Mistral-Large-3-675B-Instruct-2512` の構成のみを含む単一モデルバンドル。</li><li>プレビューモデル – テキストのみ。</li></ul> | <details><summary>View</summary><ul><li>`Mistral-Large-3-675B-Instruct-2512`<ul><li>Seq Length: 8K, BS: 1</li></ul></li></ul></details> |
| `Mistral-Large-3-675B-Instruct-2512`<sup>PREVIEW</sup> | mistral-large-3-fp8-8-16-32k | <ul><li>`Mistral-Large-3-675B-Instruct-2512` の構成のみを含む単一モデルバンドル。</li><li>`mistral-large-3-fp8-8k` より広いコンテキスト範囲。プレビューモデル – テキストのみ。</li></ul> | <details><summary>View</summary><ul><li>`Mistral-Large-3-675B-Instruct-2512`<ul><li>Seq Length: 8K, BS: 1, 4</li><li>Seq Length: 16K, BS: 1, 2</li><li>Seq Length: 32K, BS: 1</li></ul></li></ul></details> |
| `Qwen3-235B-A22B-Instruct-2507` | dyt-qwen3-235b-32-128k | `Qwen3-235B-A22B-Instruct-2507` の構成のみを含む単一モデルバンドル。 | <details><summary>View</summary><ul><li>`Qwen3-235B-A22B-Instruct-2507`<ul><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 128K, BS: 2</li></ul></li></ul></details> |
| `Whisper-Large-v3` / `Qwen3-32B` / `E5-Mistral-7B-Instruct` | qwen3-32b-whisper-e5-mistral | <ul><li>小〜中程度のコンテキスト長と多様なバッチサイズ</li></ul> | <details><summary>View</summary><ul><li>`E5-Mistral-7B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 4, 8, 16, 32</li></ul></li><li>`Qwen3-32B`<ul><li>Seq Length: 8K, BS: 1, 4</li><li>Seq Length: 16K, BS: 1</li><li>Seq Length: 32K, BS: 1, 2</li></ul></li><li>`Whisper-Large-v3`<ul><li>BS: 1, 16, 32</li></ul></li></ul></details> |
| `Qwen3-32B` / `Meta-Llama-3.1-405B-Instruct` | qwen3-32b-llama405b-s-m | <ul><li>小〜中程度のコンテキスト長</li><li>`Meta-Llama-3.1-405B-Instruct` で[投機的デコーディング](/docs/ja/v2.1.1/sambastack/service-administration/performance/deploy-with-speculative-decoding.md)をサポート</li></ul> | <details><summary>View</summary>**Target Models:**<ul><li>`Meta-Llama-3.1-405B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 2, 4</li><li>Seq Length: 8K, BS: 1</li><li>Seq Length: 16K, BS: 1</li></ul></li></ul>**Draft Models:**<ul><li>`Meta-Llama-3.1-8B-Instruct`<ul><li>Seq Length: 16K, BS: 1</li></ul></li><li>`Meta-Llama-3.2-3B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 2, 4</li><li>Seq Length: 8K, BS: 1</li></ul></li></ul>**Routable Models:**<ul><li>`Qwen3-32B`<ul><li>Seq Length: 8K, BS: 1, 4</li><li>Seq Length: 16K, BS: 1</li><li>Seq Length: 32K, BS: 1</li></ul></li></ul></details> |
| `Qwen3-TTS-Talker`<sup>PREVIEW</sup> | qwen3-tts-talker | `Qwen3-TTS-Talker` の構成のみを含む単一モデルバンドル。 | <details><summary>View</summary><ul><li>`Qwen3-TTS-Talker`<ul><li>Seq Length: 4K, BS: 2, 4, 8, 16</li></ul></li></ul></details> |
| `Qwen3-TTS-Vocoder`<sup>PREVIEW</sup> | qwen3-tts-vocoder | `Qwen3-TTS-Vocoder` の構成のみを含む単一モデルバンドル。 | <details><summary>View</summary><ul><li>`Qwen3-TTS-Vocoder`<ul><li>Codes length: 5, 8, 10, 16, BS: 16</li></ul></li></ul></details> |

† `cd-dyt-gpt-oss-120b-8-32-64-128k` は 8K〜128K、`dyt-gpt-oss-20b-32-64-128k` は 32K〜128K のシーケンス長をサポートします。いずれかのモデルでより短いコンテキスト長 (4K〜16K) が必要な場合は、SambaNova の担当者にお問い合わせください。

### モデルごとの推奨バンドル

このセクションでは、モデルごとに、一般的な用途に適した推奨バンドルと、コンテキスト長・バッチサイズ・対応モダリティのトレードオフがある代替バンドルを記載します。各バンドルのシーケンス長/バッチサイズの詳細は、上記の[バンドル構成](#バンドル構成)をご参照ください。

| 開発元 | モデル | 推奨バンドル | 代替バンドル |
| - | - | - | - |
| Meta | `Meta-Llama-3.3-70B-Instruct` | `70b-3dot3-ss-4-8-16-32-64-128k` | `70b-3dot3-ss-full-whisper`, `us-agentic-rag-1-1`, `e5-mistral-70b-64k-128k` |
| Meta | `Meta-Llama-3.1-8B-Instruct` | `us-agentic-rag-1-1` | `qwen3-32b-llama405b-s-m` |
| Meta | `Meta-Llama-3.1-405B-Instruct` | `qwen3-32b-llama405b-s-m` | — |
| Meta | `Llama-4-Maverick-17B-128E-Instruct` | `llama-4-medium-8-16-32-64-128k` | `llama-4-medium-ss-16k-bs24`, `us-agentic-rag-1-1` |
| MiniMax | `MiniMax-M3`<sup>PREVIEW</sup> | `minimax-m3-32-64-128-256-512k-1m` (最大 1M のコンテキスト) | `minimax-m3-32k` |
| MiniMax | `MiniMax-M2.7` | `dyt-minimax-m2p7-32-64-160-192k-pc` ([Prompt Caching](/docs/ja/v2.1.1/sambastack/service-administration/performance/prompt-caching.md) を追加) | `dyt-minimax-m2p7-32k-pc`, `dyt-minimax-m2p7-32-64-160-192k`, `dyt-minimax-m2p7-32-160-192k`, `dyt-minimax-m2p7-32k-v2` |
| MiniMax | `MiniMax-M2.5` | `dyt-minimax-m2p5-32-160k` | `dyt-minimax-m2p5-32k` |
| Mistral AI | `Mistral-Large-3-675B-Instruct-2512`<sup>PREVIEW</sup> | `mistral-large-3-fp8-8-16-32k` | `mistral-large-3-fp8-8k` |
| DeepSeek | `DeepSeek-R1-0528` | `deepseek-4in1-fp8-128k` (長いコンテキスト長) | `deepseek-r1-v3-fp8-8k`, `deepseek-r1-v31-fp8-8k` |
| DeepSeek | `DeepSeek-V3-0324` | `deepseek-4in1-fp8-128k` (長いコンテキスト長) | `deepseek-r1-v3-fp8-8k`, `deepseek-v3-v31-fp8-8k`, `deepseek-v3-v3termi-fp8-8k` |
| DeepSeek | `DeepSeek-V3.1` | `deepseek-4in1-fp8-128k` (長いコンテキスト長) | `deepseek-r1-v31-fp8-8k`, `deepseek-v3-v31-fp8-8k` |
| DeepSeek | `DeepSeek-V3.1-Terminus` | `deepseek-4in1-fp8-128k` (長いコンテキスト長) | `deepseek-v3-v3termi-fp8-8k` |
| OpenAI | `gpt-oss-120b` | `us-agentic-rag-1-1` | `cd-dyt-gpt-oss-120b-8-32-64-128k`, `gpt-gemma-whisper-mistral` |
| OpenAI | `gpt-oss-20b`<sup>PREVIEW</sup> | `dyt-gpt-oss-20b-32-64-128k` | — |
| OpenAI | `Whisper-Large-v3` | `qwen3-32b-whisper-e5-mistral` | `70b-3dot3-ss-full-whisper` (既知の問題: デフォルトの起動時間内にロードが完了しません), `gpt-gemma-whisper-mistral` |
| Google | `gemma-3-27b-it`<sup>PREVIEW</sup> | `gemma3-27b-32-128k` | — |
| Google | `gemma-3-12b-it`<sup>PREVIEW</sup> | `gemma3-v3` | `gpt-gemma-whisper-mistral` |
| Google | `gemma-4-31B-it` | `gemma-4-31b-32-128-256k` (256K コンテキストを追加。テキスト・画像・動画に対応)、`gemma-4-31b-32-128k` (最大 128K のコンテキスト。テキスト・画像・動画に対応、より高いスループット)。どちらのバンドルも、すべてのシーケンス長で制約付きデコーディングに対応しています。両者は機能ではなく、コンテキスト長とスループットで選択してください。 | — |
| Alibaba Cloud | `Qwen3-235B-A22B-Instruct-2507` | `dyt-qwen3-235b-32-128k` | — |
| Alibaba Cloud | `Qwen3-32B` | `qwen3-32b-whisper-e5-mistral` | `qwen3-32b-llama405b-s-m` |
| Alibaba Cloud | `Qwen3-TTS-Talker`<sup>PREVIEW</sup> | `qwen3-tts-talker` | — |
| Alibaba Cloud | `Qwen3-TTS-Vocoder`<sup>PREVIEW</sup> | `qwen3-tts-vocoder` | — |
| Other | `E5-Mistral-7B-Instruct` | `us-agentic-rag-1-1` | `e5-mistral-70b-64k-128k`, `qwen3-32b-whisper-e5-mistral`, `gpt-gemma-whisper-mistral` |