> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sambanova.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 対応モデルとバンドル

SambaStack は、オンプレミス環境とホステッド環境の両方にデプロイできるさまざまなモデルをサポートしています。お使いのデプロイメントでどのモデルが利用可能かは、システム管理者にお問い合わせください。

## デプロイオプション

SambaStack でモデルをデプロイする際、管理者はさまざまなコンテキスト長とバッチサイズの組み合わせから選択できます。

* バッチサイズが小さいほど、トークンスループット (トークン/秒) が高くなります。
* バッチサイズが大きいほど、複数ユーザーに対する同時実行性が向上します。

SambaStack は、高インタラクティビティ (high-interactivity) と高スループット (high-throughput) の 2 種類のデプロイ構成をサポートしています。それぞれの使い分けについては、[高スループットデプロイ](https://docs.sambanova.ai/docs/ja/v1.1.1/sambastack/service-administration/deployment-configurations.md)をご参照ください。

## クラスター上のモデルの確認

クラスターで利用可能なモデルは、次のコマンドで確認できます。

```shellscript theme={}
kubectl -n <namespace> get models
```

## 対応モデルの一覧

検索またはフィルターでモデルを探し、選択するとそのモデルの完全な構成へ移動できます。

All providers

All modalities

— select one to jump to its full
configuration below

## Meta

### Meta-Llama-3.3-70B-Instruct

<details>
  <summary>
    Meta

    Meta-Llama-3.3-70B-Instruct

    Task agent, Tool-calling agent, Text to SQL/Cipher
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)
</details>

### Meta-Llama-3.1-8B-Instruct

<details>
  <summary>
    Meta

    Meta-Llama-3.1-8B-Instruct

    Gateway agent, Validation agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct)
</details>

### Meta-Llama-3.1-405B-Instruct

<details>
  <summary>
    Meta

    Meta-Llama-3.1-405B-Instruct

    Task agent, Tool-calling agent, Code generation
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-3.1-405B-Instruct)
</details>

### Llama-4-Maverick-17B-128E-Instruct

<details>
  <summary>
    Meta

    Llama-4-Maverick-17B-128E-Instruct

    Image understanding, Task agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-4-Maverick-17B-128E-Instruct)
</details>

## MiniMax

### MiniMax-M2.7

<details>
  <summary>
    MiniMax

    MiniMax-M2.7

    Coding agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/MiniMaxAI/MiniMax-M2.7)
</details>

### MiniMax-M2.5

<details>
  <summary>
    MiniMax

    MiniMax-M2.5

    Coding agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/MiniMaxAI/MiniMax-M2.5)
</details>

## Mistral AI

### Mistral-Large-3-675B-Instruct-2512

<details>
  <summary>
    Mistral AI

    Mistral-Large-3-675B-Instruct-2512

    Multilingual instruction following, Task agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512)
</details>

## DeepSeek

### DeepSeek-R1-0528

<details>
  <summary>
    DeepSeek

    DeepSeek-R1-0528

    Complex reasoning
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-R1)
</details>

### DeepSeek-R1-Distill-Llama-70B

<details>
  <summary>
    DeepSeek

    DeepSeek-R1-Distill-Llama-70B

    Complex reasoning
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-70B)
</details>

### DeepSeek-V3-0324

<details>
  <summary>
    DeepSeek

    DeepSeek-V3-0324

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-V3-0324)
</details>

### DeepSeek-V3.1

<details>
  <summary>
    DeepSeek

    DeepSeek-V3.1

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-V3.1)
</details>

### DeepSeek-V3.2

<details>
  <summary>
    DeepSeek

    DeepSeek-V3.2

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-V3.2)
</details>

## OpenAI

### gpt-oss-120b

<details>
  <summary>
    OpenAI

    gpt-oss-120b

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/openai/gpt-oss-120b)
</details>

### gpt-oss-20b

<details>
  <summary>
    OpenAI

    gpt-oss-20b

    Main/planner agent, Tool-calling agent, Reasoning
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/openai/gpt-oss-20b)
</details>

### Whisper-Large-v3

<details>
  <summary>
    OpenAI

    Whisper-Large-v3

    Automatic speech recognition (ASR), Audio transcription
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/openai/whisper-large-v3)
</details>

## Google

### gemma-3-27b-it

<details>
  <summary>
    Google

    gemma-3-27b-it

    Image understanding, Task agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/google/gemma-3-27b-it)
</details>

### gemma-3-12b-it

<details>
  <summary>
    Google

    gemma-3-12b-it

    Image understanding, Task agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/google/gemma-3-12b-it)
</details>

### gemma-4-31B-it

<details>
  <summary>
    Google

    gemma-4-31B-it

    Task agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/google/gemma-4-31B-it)
</details>

## Alibaba Cloud

### Qwen3-235B-A22B-Instruct-2507

<details>
  <summary>
    Alibaba Cloud

    Qwen3-235B-A22B-Instruct-2507

    Agentic planner, Multilingual instruction following
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507)
</details>

### Qwen3-32B

<details>
  <summary>
    Alibaba Cloud

    Qwen3-32B

    Task agent, Multilingual instruction following
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/Qwen/Qwen3-32B)
</details>

## Tokyotech-llm

### Llama-3.3-Swallow-70B-Instruct-v0.4

<details>
  <summary>
    Tokyotech-llm

    Llama-3.3-Swallow-70B-Instruct-v0.4

    Japanese instruction following, Task agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/tokyotech-llm/Llama-3.3-Swallow-70B-Instruct-v0.4)
</details>

## Other

### E5-Mistral-7B-Instruct

<details>
  <summary>
    Other

    E5-Mistral-7B-Instruct

    Vector storage and retrieval (RAG)
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/intfloat/e5-mistral-7b-instruct)
</details>

## 推奨モデルバンドル

SambaStack では、モデルを個別にデプロイするのではなく、バンドルとしてデプロイします。バンドルとは、1 つ以上のモデルを、バッチサイズやシーケンス長などの関連する構成と共にまとめたデプロイパッケージです。

例えば、`Meta‑Llama‑3.3‑70B` モデルをバッチサイズ 4、シーケンス長 16K トークンでデプロイする場合、これは 1 つの構成に相当します。一方、バンドルには、同じモデルまたは異なるモデルに対するこのような構成を複数含めることができます。

SambaNova の RDU 技術により、1 つのデプロイメント内に複数のモデルと構成を同時にロードできます。これにより、必要に応じてモデル間やバッチサイズ/シーケンス長のプロファイル間を即座に切り替えられます。デプロイが通常は単一モデルかつ静的である従来の GPU システムとは異なり、SambaStack はマルチモデル・マルチ構成のバンドルをサポートします。このアプローチにより、低レイテンシを維持しながら、より高い効率性、柔軟性、スループットを実現します。

クラスターで利用可能なバンドルは、次のコマンドで確認できます。

```shellscript theme={}
kubectl -n <namespace> get bundles
```

以下の表は、SambaStack で現在利用可能なモデルに対する推奨バンドルテンプレートの一覧です。各エントリは、モデルとその推奨デプロイバンドルの組み合わせを示しています。

> [!NOTE]
>
> 以下に記載されたバンドルが推論要件を満たさない場合は、DDR メモリに収まる範囲で、任意のモデルと構成を組み合わせた[カスタムバンドル](https://docs.sambanova.ai/docs/ja/v1.1.1/sambastack/service-administration/custom-bundle-deployment.md)を作成できます。

| モデル名 | バンドルテンプレート | バンドルの説明 | バンドル構成 |
| - | :- | :- | :- |
| `DeepSeek-R1-0528` / `DeepSeek-V3.1` | deepseek-r1-v31-fp8-16k | <ul><li>中程度のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`DeepSeek-R1-0528`<ul><li>Seq Length: 16K, BS: 1</li></ul></li><li>`DeepSeek-V3.1`<ul><li>Seq Length: 16K, BS: 1</li></ul></li></ul></details> |
| `DeepSeek-V3-0324` | deepseek-r1-v3-fp8-16k | <ul><li>中程度のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`DeepSeek-R1-0528`<ul><li>Seq Length: 16K, BS: 1</li></ul></li><li>`DeepSeek-V3-0324`<ul><li>Seq Length: 16K, BS: 1</li></ul></li></ul></details> |
| `E5-Mistral-7B-Instruct` / `Meta-Llama-3.1-8B-Instruct` | us-agentic-rag-1-1 | <ul><li>小〜中程度のコンテキスト長と多様なバッチサイズ</li><li>`Meta-Llama-3.3-70B` で[投機的デコーディング](https://docs.sambanova.ai/docs/ja/v1.1.1/sambastack/service-administration/deploy-with-speculative-decoding.md)をサポート</li></ul> | <details><summary>View</summary><ul><li>`gpt-oss-120b`<ul><li>Seq Length: 32K, BS: 4</li><li>Seq Length: 64K, BS: 2</li><li>Seq Length: 128K, BS: 2</li></ul></li><li>`Llama-4-Maverick-17B-128E-Instruct`<ul><li>Seq Length: 8K, BS: 1</li><li>Seq Length: 16K, BS: 1</li></ul></li><li>`Meta-Llama-3.3-70B` (Target)/ `Meta-Llama-3.2-1B` (Draft)<ul><li>Seq Length: 4K, BS: 1, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 1, 4, 8</li><li>Seq Length: 16K, BS: 1, 4</li><li>Seq Length: 32K, BS: 1, 4</li><li>Seq Length: 64K, BS: 1</li><li>Seq Length: 128K, BS: 1</li></ul></li><li>`Meta-Llama-3.1-8B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 4, 16, 32</li><li>Seq Length: 8K, BS: 1, 4, 16, 32</li><li>Seq Length: 16K, BS: 1, 4, 8</li></ul></li><li>`E5-Mistral-7B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 4, 8, 16, 32</li></ul></li></ul></details> |
| `gemma-3-27b-it` | gemma3-27b-32-128k | `gemma-3-27b-it` の構成のみを含む単一モデルバンドル (homogeneous bundle)。 | <details><summary>View</summary><ul><li>`gemma-3-27b-it`<ul><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 128K, BS: 2, 4, 6, 8</li></ul></li></ul></details> |
| `gemma-3-12b-it` | gemma3-v3 | <ul><li>`gemma-3-12b-it` の構成のみを含む単一モデルバンドル。</li><li>長いコンテキスト長と中程度のバッチサイズ</li></ul> | <details><summary>View</summary><ul><li>`gemma-3-12b-it`<ul><li>Seq Length: 128K, BS: 2, 4, 6, 8</li></ul></li></ul></details> |
| `gemma-4-31B-it` § | gemma4-31B-128k | <ul><li>`gemma-4-31B-it` の構成のみを含む単一モデルバンドル。</li><li>プレビューモデル – テキストのみ。</li></ul> | <details><summary>View</summary><ul><li>`gemma-4-31B-it`<ul><li>Seq Length: 128K, BS: 2, 4, 6, 8</li></ul></li></ul></details> |
| `gpt-oss-120b` | <ul><li>`cd-dyt-gpt-oss-120b-32-64-128k` †</li><li>`cd-dyt-gpt-oss-120b-8-32-64-128k` †</li></ul> | <ul><li>`gpt-oss-120b` 向けの制約付きデコーディング (constrained decoding) に対応した単一モデルバンドル。</li><li>`cd-dyt-gpt-oss-120b-8-32-64-128k` は 8K コンテキストのサポートを追加。</li><li>更新版の PEF は構造化出力 (logit マスキング) をサポート。</li></ul> | <details><summary>View</summary><ul><li>`cd-dyt-gpt-oss-120b-32-64-128k`<ul><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 64K, BS: 2, 4</li><li>Seq Length: 128K, BS: 2</li></ul></li><li>`cd-dyt-gpt-oss-120b-8-32-64-128k`<ul><li>Seq Length: 8K, BS: 2, 4, 6, 8</li><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 64K, BS: 2, 4</li><li>Seq Length: 128K, BS: 2</li></ul></li></ul></details> |
| `gpt-oss-20b` | `dyt-gpt-oss-20b-32-64-128k` † | `gpt-oss-20b` 向けの制約付きデコーディングに対応した単一モデルバンドル。 | <details><summary>View</summary><ul><li>`dyt-gpt-oss-20b-32-64-128k`<ul><li>Seq Length: 8K, BS: 2, 4, 6, 8</li><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 64K, BS: 2, 4</li><li>Seq Length: 128K, BS: 2</li></ul></li></ul></details> |
| `Llama-4-Maverick-17B-128E-Instruct` | llama-4-medium-8-16-32-64-128k | <ul><li>`Llama-4-Maverick-17B-128E-Instruct` の構成のみを含む単一モデルバンドル。</li><li>小〜長いコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary><ul><li>`Llama-4-Maverick-17B-128E-Instruct`<ul><li>Seq Length: 8K, BS: 1</li><li>Seq Length: 16K, BS: 1</li><li>Seq Length: 32K, BS: 1</li><li>Seq Length: 64K, BS: 1</li><li>Seq Length: 128K, BS: 1</li></ul></li></ul></details> |
| `Meta-Llama-3.3-70B-Instruct` | 70b-3dot3-ss-4-8-16-32-64-128k | <ul><li>中〜長のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Target Models:**<ul><li>`Meta-Llama-3.3-70B-Instruct`<ul><li>Seq Length: 4K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 16K, BS: 1, 2, 4</li><li>Seq Length: 32K, BS: 1, 2, 4</li><li>Seq Length: 64K, BS: 1, 2, 4</li><li>Seq Length: 128K, BS: 1</li></ul></li></ul>**Draft Models:**<ul><li>`Meta-Llama-3.2-1B-Instruct`<ul><li>Seq Length: 4K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 16K, BS: 1, 2, 4</li><li>Seq Length: 32K, BS: 1, 2, 4</li><li>Seq Length: 64K, BS: 1, 2, 4; private: true</li><li>Seq Length: 128K, BS: 1; private: true</li></ul></li></ul></details> |
| `MiniMax-M2.5` | <ul><li>dyt-minimax-m2p5-32k</li><li>dyt-minimax-m2p5-32-160k</li></ul> | <ul><li>`MiniMax-M2.5` の構成のみを含む単一モデルバンドル。</li><li>dyt-minimax-m2p5-32k は、中程度のシーケンス長と高バッチング向き。</li><li>dyt-minimax-m2p5-32-160k は、より長いシーケンス長と低バッチング向き</li></ul> | <details><summary>View</summary><ul><li>dyt-minimax-m2p5-32k<ul><li>Seq Length: 4K-32K, BS: 2, 4, 6, 8</li></ul></li></ul><ul><li>dyt-minimax-m2p5-32-160k<ul><li>Seq Length: 32K, BS: 2</li><li>Seq Length: 160K, BS: 2</li></ul></li></ul></details> |
| `Mistral-Large-3-675B-Instruct-2512` § | mistral-large-3-fp8-8k | <ul><li>`Mistral-Large-3-675B-Instruct-2512` の構成のみを含む単一モデルバンドル。</li><li>プレビューモデル – テキストのみ。</li></ul> | <details><summary>View</summary><ul><li>`Mistral-Large-3-675B-Instruct-2512`<ul><li>Seq Length: 8K, BS: 1</li></ul></li></ul></details> |
| `Qwen3-235B-A22B-Instruct-2507` | dyt-qwen3-235b-32-128k | `Qwen3-235B-A22B-Instruct-2507` の構成のみを含む単一モデルバンドル。 | <details><summary>View</summary><ul><li>`Qwen3-235B-A22B-Instruct-2507`<ul><li>Seq Length: 32K, BS: 2, 4, 6, 8</li><li>Seq Length: 128K, BS: 2</li></ul></li></ul></details> |
| `Whisper-Large-v3` / `Qwen3-32B` | qwen3-32b-whisper-e5-mistral | <ul><li>小〜中程度のコンテキスト長と多様なバッチサイズ</li></ul> | <details><summary>View</summary><ul><li>`E5-Mistral-7B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 4, 8, 16, 32</li></ul></li><li>`Qwen3-32B`<ul><li>Seq Length: 8K, BS: 1, 4</li><li>Seq Length: 16K, BS: 1</li><li>Seq Length: 32K, BS: 1, 2</li></ul></li><li>`Whisper-Large-v3`<ul><li>BS: 1, 16, 32</li></ul></li></ul></details> |

† これらのバンドルは 8K〜128K のシーケンス長をサポートします。`gpt-oss-120b` でより短いコンテキスト長 (4K〜16K) が必要な場合は、SambaNova の担当者にお問い合わせください。

§ SambaStack 1.1.1 のプレビューモデル。テキストのみ対応で、画像認識 (vision) のサポートは準備中です。