MiniMax-M2.5 | - dyt-minimax-m2p5-32k
- dyt-minimax-m2p5-32-160k
| MiniMax-M2.5 の構成のみを含む単一モデルバンドル (homogeneous bundle)。- dyt-minimax-m2p5-32k は、中程度のシーケンス長と高バッチング向き。
- dyt-minimax-m2p5-32-160k は、より長いシーケンス長と低バッチング向き
| View- dyt-minimax-m2p5-32k
- Seq Length: 4K-32K, BS: 1, 2, 4, 6, 8
- dyt-minimax-m2p5-32-160k
- Seq Length: 32K, BS: 2
- Seq Length: 160K, BS: 2
|
Meta-Llama-3.3-70B-Instruct | 70b-3dot3-ss-4-8-16-32-64-128k | - 以下の投機的デコーディング:
Meta-Llama-3.3-70B (Target)Meta-Llama-3.2-1B (Draft)
- 中〜長のコンテキスト長と低バッチサイズ
| ViewTarget Models: Meta-Llama-3.3-70B-Instruct- Seq Length: 4K, BS: 2, 4, 8, 16, 32
- Seq Length: 8K, BS: 2, 4, 8, 16, 32
- Seq Length: 16K, BS: 1, 2, 4
- Seq Length: 32K, BS: 1, 2
- Seq Length: 64K, BS: 1, 2, 4
- Seq Length: 128K, BS: 1
Draft Models: Meta-Llama-3.2-1B-Instruct- Seq Length: 4K, BS: 2, 4, 8, 16, 32
- Seq Length: 8K, BS: 2, 4, 8, 16, 32
- Seq Length: 16K, BS: 1, 2, 4
- Seq Length: 32K, BS: 1, 2
- Seq Length: 64K, BS: 1, 2, 4
- Seq Length: 128K, BS: 1
|
gpt-oss-120b | dyt-gpt-oss-120b-32-64-128k | gpt-oss-120b の構成のみを含む単一モデルバンドル。- 長いコンテキスト長と低バッチサイズ
| Viewgpt-oss-120b- Seq Length: 4K-32K, BS: 1, 2, 4, 6, 8
- Seq Length: 64K, BS: 1, 2, 4
- Seq Length: 128K, BS: 2
|
DeepSeek-R1-0528 /
DeepSeek-V3.1 | deepseek-r1-v31-fp8-16k | - 以下の組み合わせ:
DeepSeek-R1-0528 DeepSeek-V3.1
- 中程度のコンテキスト長と低バッチサイズ
| ViewModels: DeepSeek-R1-0528DeepSeek-V3.1
|
DeepSeek-V3-0324 | deepseek-r1-v3-fp8-16k | - 以下の組み合わせ:
DeepSeek-R1-0528 DeepSeek-V3-0324
- 中程度のコンテキスト長と低バッチサイズ
| ViewModels: DeepSeek-R1-0528DeepSeek-V3-0324
|
Llama-4-Maverick-17B-128E-Instruct | llama-4-medium-8-16-32-64-128k | Llama-4-Maverick-17B-128E-Instruct の構成のみを含む単一モデルバンドル。- 小〜長いコンテキスト長と低バッチサイズ
| ViewLlama-4-Maverick-17B-128E-Instruct- Seq Length: 8K, BS: 1
- Seq Length: 16K, BS: 1
- Seq Length: 32K, BS: 1
- Seq Length: 64K, BS: 1
- Seq Length: 128K, BS: 1
|
Whisper-Large-v3 /
Qwen3-32B | qwen3-32b-whisper-e5-mistral | - 以下の組み合わせ:
Qwen3-32BWhisper-Large-v3E5-Mistral-7B-Instruct
- 小〜中程度のコンテキスト長と多様なバッチサイズ
| ViewE5-Mistral-7B-Instruct- Seq Length: 4K, BS: 1, 4, 8, 16, 32
Qwen3-32B- Seq Length: 8K, BS: 1, 4
- Seq Length: 16K, BS: 1
- Seq Length: 32K, BS: 1, 2
Whisper-Large-v3
|
E5-Mistral-7B-Instruct /
Meta-Llama-3.1-8B-Instruct | us-agentic-rag-1-1 | - 以下の組み合わせ:
gpt-oss-120bLlama-4-Maverick-17B-128E-InstructMeta-Llama-3.1-8B-InstructMeta-Llama-3.3-70B (Target)Meta-Llama-3.2-1B (Draft)E5-Mistral-7B-Instruct
- 小〜中程度のコンテキスト長と多様なバッチサイズ
Meta-Llama-3.3-70B で投機的デコーディングをサポート
| Viewgpt-oss-120b- Seq Length: 32K, BS: 4
- Seq Length: 64K, BS: 2
- Seq Length: 128K, BS: 2
Llama-4-Maverick-17B-128E-Instruct- Seq Length: 8K, BS: 1
- Seq Length: 16K, BS: 1
Meta-Llama-3.3-70B (Target)/ Meta-Llama-3.2-1B (Draft)- Seq Length: 4K, BS: 1, 4, 8, 16, 32
- Seq Length: 8K, BS: 1, 4, 8
- Seq Length: 16K, BS: 1, 4
- Seq Length: 32K, BS: 1, 4
- Seq Length: 64K, BS: 1
- Seq Length: 128K, BS: 1
Meta-Llama-3.1-8B-Instruct- Seq Length: 4K, BS: 1, 4, 16, 32
- Seq Length: 8K, BS: 1, 4, 16, 32
- Seq Length: 16K, BS: 1, 4, 8
E5-Mistral-7B-Instruct- Seq Length: 4K, BS: 1, 4, 8, 16, 32
|
