> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sambanova.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 対応モデルとバンドル

SambaStack は、オンプレミス環境とホステッド環境の両方にデプロイできるさまざまなモデルをサポートしています。お使いのデプロイメントでどのモデルが利用可能かは、システム管理者にお問い合わせください。

## デプロイオプション

SambaStack でモデルをデプロイする際、管理者はさまざまなコンテキスト長とバッチサイズの組み合わせから選択できます。

* バッチサイズが小さいほど、トークンスループット (トークン/秒) が高くなります。
* バッチサイズが大きいほど、複数ユーザーに対する同時実行性が向上します。

## クラスター上のモデルの確認

クラスターで利用可能なモデルは、次のコマンドで確認できます。

```shellscript theme={}
kubectl -n <namespace> get models
```

## 対応モデルの一覧

検索またはフィルターでモデルを探し、選択するとそのモデルの完全な構成へ移動できます。

All providers

All modalities

— select one to jump to its full
configuration below

## Meta

### Meta-Llama-3.3-70B-Instruct

<details>
  <summary>
    Meta

    Meta-Llama-3.3-70B-Instruct

    Task agent, Tool-calling agent, Text to SQL/Cipher
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)
</details>

### Meta-Llama-3.1-8B-Instruct

<details>
  <summary>
    Meta

    Meta-Llama-3.1-8B-Instruct

    Gateway agent, Validation agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct)
</details>

### Meta-Llama-3.1-405B-Instruct

<details>
  <summary>
    Meta

    Meta-Llama-3.1-405B-Instruct

    Task agent, Tool-calling agent, Code generation
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-3.1-405B-Instruct)
</details>

### Llama-4-Maverick-17B-128E-Instruct

<details>
  <summary>
    Meta

    Llama-4-Maverick-17B-128E-Instruct

    Image understanding, Task agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/meta-llama/Llama-4-Maverick-17B-128E-Instruct)
</details>

## MiniMax

### MiniMax-M2.5

<details>
  <summary>
    MiniMax

    MiniMax-M2.5

    Coding agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/MiniMaxAI/MiniMax-M2.5)
</details>

## DeepSeek

### DeepSeek-R1-0528

<details>
  <summary>
    DeepSeek

    DeepSeek-R1-0528

    Complex reasoning
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-R1)
</details>

### DeepSeek-R1-Distill-Llama-70B

<details>
  <summary>
    DeepSeek

    DeepSeek-R1-Distill-Llama-70B

    Complex reasoning
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-70B)
</details>

### DeepSeek-V3-0324

<details>
  <summary>
    DeepSeek

    DeepSeek-V3-0324

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-V3-0324)
</details>

### DeepSeek-V3.1

<details>
  <summary>
    DeepSeek

    DeepSeek-V3.1

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/deepseek-ai/DeepSeek-V3.1)
</details>

## OpenAI

### gpt-oss-120b

<details>
  <summary>
    OpenAI

    gpt-oss-120b

    Main/planner agent, Tool-calling agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/openai/gpt-oss-120b)
</details>

### Whisper-Large-v3

<details>
  <summary>
    OpenAI

    Whisper-Large-v3

    Automatic speech recognition (ASR), Audio transcription
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/openai/whisper-large-v3)
</details>

## Alibaba Cloud

### Qwen3-32B

<details>
  <summary>
    Alibaba Cloud

    Qwen3-32B

    Task agent, Multilingual instruction following
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/Qwen/Qwen3-32B)
</details>

## Tokyotech-llm

### Llama-3.3-Swallow-70B-Instruct-v0.4

<details>
  <summary>
    Tokyotech-llm

    Llama-3.3-Swallow-70B-Instruct-v0.4

    Japanese instruction following, Task agent
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/tokyotech-llm/Llama-3.3-Swallow-70B-Instruct-v0.4)
</details>

## Other

### E5-Mistral-7B-Instruct

<details>
  <summary>
    Other

    E5-Mistral-7B-Instruct

    Vector storage and retrieval (RAG)
  </summary>

  Modalities

  Deployment options

  Custom checkpoints (BYOC)
  Not supported

  [View model card on Hugging Face ↗](https://huggingface.co/intfloat/e5-mistral-7b-instruct)
</details>

## 推奨モデルバンドル

SambaStack では、モデルを個別にデプロイするのではなく、バンドルとしてデプロイします。バンドルとは、1 つ以上のモデルを、バッチサイズやシーケンス長などの関連する構成と共にまとめたデプロイパッケージです。

例えば、`Meta‑Llama‑3.3‑70B` モデルをバッチサイズ 4、シーケンス長 16K トークンでデプロイする場合、これは 1 つの構成に相当します。一方、バンドルには、同じモデルまたは異なるモデルに対するこのような構成を複数含めることができます。

SambaNova の RDU 技術により、1 つのデプロイメント内に複数のモデルと構成を同時にロードできます。これにより、必要に応じてモデル間やバッチサイズ/シーケンス長のプロファイル間を即座に切り替えられます。デプロイが通常は単一モデルかつ静的である従来の GPU システムとは異なり、SambaStack はマルチモデル・マルチ構成のバンドルをサポートします。このアプローチにより、低レイテンシを維持しながら、より高い効率性、柔軟性、スループットを実現します。

クラスターで利用可能なバンドルは、次のコマンドで確認できます。

```shellscript theme={}
kubectl -n <namespace> get bundles
```

以下の表は、SambaStack で現在利用可能なモデルに対する推奨バンドルテンプレートの一覧です。各エントリは、モデルとその推奨デプロイバンドルの組み合わせを示しています。

> [!NOTE]
>
> 以下に記載されたバンドルが推論要件を満たさない場合は、DDR メモリに収まる範囲で、任意のモデルと構成を組み合わせた[カスタムバンドル](https://docs.sambanova.ai/docs/ja/v0.5.17/sambastack/service-administration/custom-bundle-deployment.md)を作成できます。

| モデル名 | バンドルテンプレート | バンドルの説明 | バンドル構成 |
| - | :- | :- | :- |
| `MiniMax-M2.5` | <ul><li>dyt-minimax-m2p5-32k</li><li>dyt-minimax-m2p5-32-160k</li></ul> | <ul><li>`MiniMax-M2.5` の構成のみを含む単一モデルバンドル (homogeneous bundle)。</li><li>dyt-minimax-m2p5-32k は、中程度のシーケンス長と高バッチング向き。</li><li>dyt-minimax-m2p5-32-160k は、より長いシーケンス長と低バッチング向き</li></ul> | <details><summary>View</summary><ul><li>dyt-minimax-m2p5-32k<ul><li>Seq Length: 4K-32K, BS: 1, 2, 4, 6, 8</li></ul></li></ul><ul><li>dyt-minimax-m2p5-32-160k<ul><li>Seq Length: 32K, BS: 2</li><li>Seq Length: 160K, BS: 2</li></ul></li></ul></details> |
| `Meta-Llama-3.3-70B-Instruct` | 70b-3dot3-ss-4-8-16-32-64-128k | <ul><li>以下の[投機的デコーディング](https://docs.sambanova.ai/docs/ja/v0.5.17/sambastack/service-administration/deploy-with-speculative-decoding.md): <ul><li>`Meta-Llama-3.3-70B` (Target)</li><li>`Meta-Llama-3.2-1B` (Draft)</li></ul></li><li>中〜長のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Target Models:**<ul><li>`Meta-Llama-3.3-70B-Instruct`<ul><li>Seq Length: 4K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 16K, BS: 1, 2, 4</li><li>Seq Length: 32K, BS: 1, 2</li><li>Seq Length: 64K, BS: 1, 2, 4</li><li>Seq Length: 128K, BS: 1</li></ul></li></ul>**Draft Models:**<ul><li>`Meta-Llama-3.2-1B-Instruct`<ul><li>Seq Length: 4K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 2, 4, 8, 16, 32</li><li>Seq Length: 16K, BS: 1, 2, 4</li><li>Seq Length: 32K, BS: 1, 2</li><li>Seq Length: 64K, BS: 1, 2, 4</li><li>Seq Length: 128K, BS: 1</li></ul></li></ul></details> |
| `gpt-oss-120b` | dyt-gpt-oss-120b-32-64-128k | <ul><li>`gpt-oss-120b` の構成のみを含む単一モデルバンドル。</li><li>長いコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary><ul><li>`gpt-oss-120b`<ul><li>Seq Length: 4K-32K, BS: 1, 2, 4, 6, 8</li><li>Seq Length: 64K, BS: 1, 2, 4</li><li>Seq Length: 128K, BS: 2</li></ul></li></ul></details> |
| `DeepSeek-R1-0528` / `DeepSeek-V3.1` | deepseek-r1-v31-fp8-16k | <ul><li>以下の組み合わせ: <ul><li>`DeepSeek-R1-0528` </li><li>`DeepSeek-V3.1` </li></ul></li><li>中程度のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`DeepSeek-R1-0528`<ul><li>Seq Length: 16K, BS: 1</li></ul></li><li>`DeepSeek-V3.1`<ul><li>Seq Length: 16K, BS: 1</li></ul></li></ul></details> |
| `DeepSeek-V3-0324` | deepseek-r1-v3-fp8-16k | <ul><li>以下の組み合わせ: <ul><li>`DeepSeek-R1-0528` </li><li>`DeepSeek-V3-0324` </li></ul></li><li>中程度のコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary>**Models:**<ul><li>`DeepSeek-R1-0528`<ul><li>Seq Length: 16K, BS: 1</li></ul></li><li>`DeepSeek-V3-0324`<ul><li>Seq Length: 16K, BS: 1</li></ul></li></ul></details> |
| `Llama-4-Maverick-17B-128E-Instruct` | llama-4-medium-8-16-32-64-128k | <ul><li>`Llama-4-Maverick-17B-128E-Instruct` の構成のみを含む単一モデルバンドル。</li><li>小〜長いコンテキスト長と低バッチサイズ</li></ul> | <details><summary>View</summary><ul><li>`Llama-4-Maverick-17B-128E-Instruct`<ul><li>Seq Length: 8K, BS: 1</li><li>Seq Length: 16K, BS: 1</li><li>Seq Length: 32K, BS: 1</li><li>Seq Length: 64K, BS: 1</li><li>Seq Length: 128K, BS: 1</li></ul></li></ul></details> |
| `Whisper-Large-v3` / `Qwen3-32B` | qwen3-32b-whisper-e5-mistral | <ul><li>以下の組み合わせ: <ul><li>`Qwen3-32B`</li><li>`Whisper-Large-v3`</li><li>`E5-Mistral-7B-Instruct`</li></ul></li><li>小〜中程度のコンテキスト長と多様なバッチサイズ</li></ul> | <details><summary>View</summary><ul><li>`E5-Mistral-7B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 4, 8, 16, 32</li></ul></li><li>`Qwen3-32B`<ul><li>Seq Length: 8K, BS: 1, 4</li><li>Seq Length: 16K, BS: 1</li><li>Seq Length: 32K, BS: 1, 2</li></ul></li><li>`Whisper-Large-v3`<ul><li>BS: 1, 16, 32</li></ul></li></ul></details> |
| `E5-Mistral-7B-Instruct` / `Meta-Llama-3.1-8B-Instruct` | us-agentic-rag-1-1 | <ul><li>以下の組み合わせ: <ul><li>`gpt-oss-120b`</li><li>`Llama-4-Maverick-17B-128E-Instruct`</li><li>`Meta-Llama-3.1-8B-Instruct`</li><li>`Meta-Llama-3.3-70B` (Target)</li><li>`Meta-Llama-3.2-1B` (Draft)</li><li>`E5-Mistral-7B-Instruct`</li></ul></li><li>小〜中程度のコンテキスト長と多様なバッチサイズ</li><li>`Meta-Llama-3.3-70B` で[投機的デコーディング](https://docs.sambanova.ai/docs/ja/v0.5.17/sambastack/service-administration/deploy-with-speculative-decoding.md)をサポート</li></ul> | <details><summary>View</summary><ul><li>`gpt-oss-120b`<ul><li>Seq Length: 32K, BS: 4</li><li>Seq Length: 64K, BS: 2</li><li>Seq Length: 128K, BS: 2</li></ul></li><li>`Llama-4-Maverick-17B-128E-Instruct`<ul><li>Seq Length: 8K, BS: 1</li><li>Seq Length: 16K, BS: 1</li></ul></li><li>`Meta-Llama-3.3-70B` (Target)/ `Meta-Llama-3.2-1B` (Draft)<ul><li>Seq Length: 4K, BS: 1, 4, 8, 16, 32</li><li>Seq Length: 8K, BS: 1, 4, 8</li><li>Seq Length: 16K, BS: 1, 4</li><li>Seq Length: 32K, BS: 1, 4</li><li>Seq Length: 64K, BS: 1</li><li>Seq Length: 128K, BS: 1</li></ul></li><li>`Meta-Llama-3.1-8B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 4, 16, 32</li><li>Seq Length: 8K, BS: 1, 4, 16, 32</li><li>Seq Length: 16K, BS: 1, 4, 8</li></ul></li><li>`E5-Mistral-7B-Instruct`<ul><li>Seq Length: 4K, BS: 1, 4, 8, 16, 32</li></ul></li></ul></details> |