SambaStack リリースノート

​

SambaStack v2.2.3 リリース

• gemma-4-31B-it のマルチトークン予測：ステップごとに複数のトークンを生成して出力を高速化する、新しい Preview (プレビュー) バンドル
• MiniMax-M3 の Prompt Caching：テキスト入力の Prompt Caching に対応し、最大 1M コンテキストをサポートする新しい Preview バンドル
• 文字起こし形式の追加：/v1/audio/transcriptions が verbose_json、srt、vtt と、セグメント単位のタイムスタンプに対応

​

アップグレードに関する注意事項

​

新機能と機能強化

• gemma-4-31b-mtp-cd-8-32-64-128k – Preview：マルチトークン予測 (multi-token prediction) と制約付きデコーディングを有効にして、8K から 128K のコンテキスト、テキスト・画像・動画の入力で gemma-4-31B-it をサービングします。マルチトークン予測は各ステップで複数のトークンを生成するため、出力が高速になります。投機的デコーディングとは異なり、独立したドラフトモデルを必要としません。
• minimax-m3-acb-prefix-caching – Preview：Prompt Caching、連続バッチング、制約付きデコーディングを有効にして、最大 1M コンテキストで MiniMax-M3 をサービングします。入力はテキストのみを受け付けます。画像または動画の入力には、他の MiniMax-M3 バンドルを使用してください。

​

API の改善と修正

​

バグ修正

• Gemma の logprobs：gemma-4-31B-it および Gemma 3 の各バンドルへの logprobs: true リクエストが、内部エラーを返さなくなりました。
• コンテキスト上限付近の MiniMax-M3：コンテキスト上限付近のリクエストが、チャットテンプレートの追加トークンが原因でコンテキスト上限を超えることがなくなりました。
• 途中で打ち切られた reasoning：MiniMax-M3 などの Reasoning モデルで、非ストリーミングレスポンスが reasoning の途中で max_tokens により打ち切られた場合、そのテキストが content ではなく reasoning に返されるようになりました。
• 構造化出力：response_format リクエストで、未完了の reasoning から JSON が取り出されることがなくなり、JSON 文字列内の波括弧や reasoning マーカーが正しく処理されるようになりました。
• 大きな response_format スキーマ：大きなスキーマが原因で、リクエストがコンテキスト上限を超えることがなくなりました。
• コンパイルできないツールスキーマ：文法にコンパイルできないツールスキーマが、内部エラーを返さなくなりました。リクエストは、より弱い文法強制または文法強制なしで処理されるため、そのツール呼び出しはスキーマに一致しない場合があります。
• バッチング：logit_bias、seed、ignore_eos、logprobs、top_logprobs、tools、tool_choice、response_format、parallel_tool_calls、または stop や max_tokens のエイリアスを設定したリクエストが、他のリクエストと同じバッチを共有できるようになりました。
• API キーページ：コンソールの API キーページ (/apis) が正しく読み込まれるようになりました。

​

提供終了と削除

• エアギャップ用ダウンロードスクリプトの名称変更：download_bundle_artifacts_v2.sh は download_bundle_artifacts.sh に名称変更され、ModelBundle マニフェストのみを処理するようになりました。旧名を呼び出しているランブックやスクリプトを更新してください。エアギャップ用の values プロファイルは、modelBundleSpecs と modelDeploymentSpecs を使用します。

​

既知の問題

• MiniMax-M3 の Prompt Caching バンドルの制限：minimax-m3-acb-prefix-caching はテキストのみを受け付け、repetition_penalty を指定したリクエストは内部エラーを返します。画像または動画の入力には、他の MiniMax-M3 バンドルを使用してください。Prompt Caching バンドルでは、repetition_penalty を指定しないでください。
• MiniMax-M3 が画像・動画を含むリクエストで 2 つ目の system メッセージを破棄する：画像または動画を含むリクエストが 2 つの system メッセージで始まる場合、2 つ目のメッセージは無視されます。1 つにまとめてください。
• MiniMax-M3 が一部の画像 URL に対して HTTP 500 を返す：http://、https://、または小文字の data: で始まらない image_url は、HTTP 400 ではなく HTTP 500 を返します。画像は base64 の data: URL として、data: を小文字にして送信してください。
• MiniMax-M3 がテキストリクエストで thinking_mode を無視する：テキストのみのリクエストでは chat_template_kwargs.thinking_mode が効果を持たず、disabled を指定しても reasoning が content に返されることがあります。
• gemma-4-31B-it が https URL から動画を取得できない：https 経由の video_url は、HTTP 400 video_fetch_failed を返します。動画は base64 の data: URL として送信してください。
• Vision モデルと音声モデルで /v1/completions が失敗する：MiniMax-M3、gemma-4-31B-it をはじめとする Vision モデルおよび音声モデルは、/v1/completions で内部エラーを返します。/v1/chat/completions を使用してください。
• 1 つのリクエストの拒否がバッチ全体を失敗させることがある：バッチの準備中にリクエストが拒否されると、同じバッチ内の他のリクエストにも同じ HTTP 400 が返されることがあります。例: コンテキスト上限を超えた MiniMax-M3 のリクエストや、max_tokens の値が競合している gemma-4-31B-it のリクエスト。
• 切断後も実行され続けるリクエストがある：以下のリクエストは、クライアントが切断してもキャンセルされません。
  • 連続バッチングを使用しないバンドルで、バッチ内で最長ではないリクエスト。バッチが完了するまで生成を続けます
  • Reasoning モデルでの、JSON の response_format を指定したストリーミングリクエスト
  • グローバルモデルルーターが別のクラスターに送信したリクエスト
  放棄されたリクエストの消費を抑えるため、出力トークンの上限を設定してください。
• 設定チェックの Job が蓄積する：インストールまたはアップグレードのたびに、完了済みのコンソール設定チェック用 Job と Pod が残ります。アップグレード後に削除してください。

​

SambaStack v2.1.2 リリース

• 出力トークンの上限：新しい maxNewTokens および maxNewTokensHard 設定。モデル、サービスティア、またはティア内の 1 つのコンテキストグループに適用できます
• 放棄された生成のキャンセル：ストリーミングクライアントが切断すると、その生成が停止するようになりました。キャパシティは、連続バッチングまたはバッチサイズ 1 では即時に返却され、それ以外の場合はバッチの残りの完了時に返却されます
• Vision-Language (視覚言語) モデルでの正確な completion_tokens：レポートされる出力トークン数が、応答テキストの再エンコードではなく、モデルが実際に生成したトークンをカウントするようになりました
• minimax-m3-512k バンドル：コンテキストを 512K に制限して MiniMax-M3 をサービングします
• 推論ログレコードへのクライアントのサンプリングパラメータの記録：7 つのサンプリングパラメータが、クライアントが送信したままの形で記録されます

​

アップグレードに関する注意事項

​

新機能と機能強化

• maxNewTokens は、リクエストが max_tokens を省略した場合に max_tokens を補完します。自身の max_tokens を送信したリクエストには影響しません。
• maxNewTokensHard は、クライアントが max_tokens を送信したかどうかにかかわらず、すべての生成に上限を課します。上限に達した生成はそこで停止し、クライアント指定の上限と同じ finish reason をレポートします。

• minimax-m3-512k – プレビュー：コンテキストを 512K に制限した MiniMax-M3 を、Vision 対応でサービングします。512K を超えるコンテキストには minimax-m3-32-64-128-256-512k-1m を使用してください。対応モデルとバンドル をご参照ください。

​

API の改善と修正

​

既知の問題

• minimax-m3-512k でコンテキスト上限付近のリクエストが内部エラーで失敗する：バックエンドは、トークンカウントエンドポイントのレポートより 49 トークン多くプロンプトトークンをカウントします。そのため、512K 上限まで 49 トークン以内のテキストリクエストは、受け付けられた後に失敗します。上限以上のリクエストは、従来どおり HTTP 400 で拒否されます。プロンプトと max_tokens の合計は、524,288 より 50 トークン以上少なく保ってください。
• dyt-gpt-oss-120b-8-32-64-128k-scx で 128K 境界付近のリクエストが内部エラーで失敗する：ワーカーはゲートウェイより 14 トークン多くカウントするため、131,070 または 131,071 とカウントされたプロンプトは、受け付けられた後、生成前に失敗します。プロンプトは 131,072 より 15 トークン以上少なく保ってください。
• max_tokens と max_completion_tokens の競合が内部エラーを返す：gemma-4-31B-it などの Vision-Language モデルで、両方のフィールドを異なる値で送信すると、出力トークンの上限が未設定の場合、バリデーションエラーではなく HTTP 500 が返されます。どちらか一方のフィールドのみを送信してください。maxNewTokens または maxNewTokensHard を設定することでも回避できます。この場合、モデルに渡る前に 2 つの値が解決されます。
• gemma-4-31B-it で途中で打ち切られた思考ブロックがコンテンツとして返される：非ストリーミングリクエストで、max_tokens により思考ブロックが途中で打ち切られると、思考マーカーと reasoning テキストが、reasoning フィールドなしで message.content に返されます。トークンカウントは正しいままです。レスポンスをストリーミングするか、ブロックが完了するよう max_tokens を引き上げてください。
• 切断時のキャンセルはストリーミングリクエストのみが対象：放棄された非ストリーミングリクエストは検出されず、上限まで生成を続けてスロットを保持し、stop_reason: cancelled のレコードも残りません。長い生成はストリーミングし、放棄されたリクエストの消費を抑えるために、出力トークンの上限を設定してください。

​

SambaStack v2.1.1 リリース

• MiniMax-M3：32K から 1M までのコンテキストでテキスト・画像・動画に対応し、Function calling と reasoning をサポートする新モデル
• ワークロードスケジューリングの制御：新しい global.* スケジューリング値により、プラットフォームサービスを推論ノードに配置しないよう構成可能に
• Vision (視覚) モデルでの制約付きデコーディング：従来は受け付けられながら暗黙のうちに無視されていましたが、生成中に適用されるように変更
• API、エアギャップインストール、信頼性に関する一連の修正

​

アップグレードに関する注意事項

​

新機能と機能強化

• MiniMax-M3 – プレビュー：テキスト・画像・動画に対応する新モデルです。minimax-m3-32-64-128-256-512k-1m バンドルで 32K、64K、128K、256K、512K、1M のコンテキストを利用できるほか、専用の 32K バンドルでも利用できます。Function calling、reasoning 出力、reasoning トークンのレポートをサポートし、Responses API からも利用できます。本リリースでは、このモデルで Prompt Caching はサポートされません。下記の 既知の問題 をご参照ください。
• MiniMax-M2.7 – 安定版：KV キャッシュ統合により安定版 (Stable) に到達しました。これは、このモデルに対して計画されていた最後の改善です。新しい dyt-minimax-m2p7-32k-pc バンドルが、Prompt Caching 付きの 32K でモデルをサービングします。

• global.affinity
• global.nodeSelector
• global.tolerations
• global.topologySpreadConstraints
• global.priorityClassName
• global.requireDefaultPodAntiAffinity

• インラインのプロファイル定義が解決されるようになりました：アーティファクトのダウンロードパスが、名前付きの ModelProfile 参照に加えて、インラインの profileDefinition ブロックからも PEF を読み取るようになりました。従来は 27 バンドルにわたる 312 件の PEF 参照がスキップされていたため、インストール時に不完全なアーティファクトセットがステージングされ、キャッシュ Pod がクラッシュループに陥り、ワーカーが init 状態のまま残っていました。
• スタンドアロンのモデルチャートが自動検出されるようになりました：ダウンロードスクリプトが、アンブレラチャートに加えて、スタンドアロンのモデルチャート (modelComponents.enabled が false の場合のデフォルト) を認識するようになりました。
• サードパーティのチャート依存関係がミラーリングされるようになりました：Redis、OpenEBS、CloudNativePG のサブチャートが、イメージとともにプライベートレジストリにミラーリングされるようになり、従来はサブチャートの依存関係を解決できなかったインストールが可能になりました。

​

API の改善と修正

• Vision モデルでの tool_choice: none：従来は無視されていた Vision モデルのパスで、正しく適用されるようになりました。
• gpt-oss-120b のストリーミング：ストリーミングのツール呼び出しで、モデル内部のチャネル区切りタグがそのまま delta.content の可視の assistant テキストとして出力されることがなくなり、ツール引数は 2 回ではなく 1 回のみ tool_calls のデルタとして配信されるようになりました。
• gpt-oss-120b のコードモードツール呼び出し：コードモードのツール呼び出しが、HTTP 400 で拒否されるのではなく、解析されて処理されるようになりました。
• finish_reason：すべてのリクエストが finish_reason: tool_calls を報告する原因となっていた、トークンフォールバックの不具合を修正しました。

• Vision 経由でサービングされるモデルの reasoning トークン：gemma-4-31B-it など、Vision パイプラインを通じてサービングされる reasoning モデルで、usage.completion_tokens_details が設定されるようになりました。
• 画像・動画トークンのカウント：エキスパートルーティングが、画像・動画トークンをカウントするようになりました。これにより、ルーティングがテキストトークンのみをカウントしていたことに起因する、v2.0.2 の既知の問題として報告されていた 32K 境界付近での gemma-4-31B-it の HTTP 500 が解決されます。

​

バグ修正

• エキスパートのシーケンス上限付近のプロンプトでの HTTP 500：エキスパートのトークン生成上限に対するバッチングウィンドウ内に収まるプロンプトが、HTTP 500 を返していました。シーケンス次元はバッチ全体に対して解決されるため、そのようなプロンプトが 1 つあると、同じバッチに含まれるすべてのリクエストが失敗していました。MiniMax-M2.7、gpt-oss-120b、gemma-4-31B-it が影響を受けます。
• 同時負荷時の prompt_tokens：Vision パイプラインがプロンプトトークンを処理中の別のリクエストに誤って帰属させ、使用量の集計が不正確になる問題を修正しました。これにより、v2.0.2 の既知の問題として報告されていた prompt_tokens の不一致が解決されます。
• Vision Embedding の破損：画像・動画の Embedding をエラーなく暗黙のうちに破損させ、エラーではなく誤った回答を生成する原因となっていた、パディングの不具合を修正しました。複数の画像・動画ページグループが、単一の Vision エンコーダー呼び出しにまとめてパックされるようになりました。
• Vision プレフィルのパディング：Vision のプレフィルが、最大値ではなく、ランタイムが選択したシーケンス長バケットに合わせてパディングされるようになり、固定ではないシーケンス範囲での形状不一致によるクラッシュを防止します。
• モデルが存在しないクラスター：モデル構成が存在しない場合に、API サーバーと認証・請求サービスがクラッシュループに陥り、再インストールがブロックされる問題を修正しました。

​

提供終了と削除

• sn-redis-exporter を削除しました。 Deployment、Service、ServiceMonitor の各テンプレート、values ブロック、オンプレミス向けオーバーライドは、すべて削除されました。これを対象とするダッシュボードやアラートを削除してください。
• modelConfigGenerator.enabled の values を削除しました。 values ファイルからこれらのキーを削除してください。モデル構成ジェネレーターは、常に認証・請求およびゲートウェイのデプロイメントに注入されるようになりました。
• v1 のエアギャップ用アーティファクトダウンロードスクリプトを削除しました。 download_bundle_artifacts_v2.sh に完全に置き換えられています。旧スクリプトを呼び出しているランブックや自動化を更新してください。

​

既知の問題

• MiniMax-M3 では Prompt Caching がサポートされません：本モデルはテキスト・画像・動画向けにプレビューとして利用できますが、本リリースでは、このモデルに対して Prompt Caching は機能しません。リクエストは成功しますが、キャッシュヒットなしで処理されます。キャッシュ済みプレフィックスに依存する場合は、Prompt Caching に対応した他のバンドルを使用してください。
• MiniMax-M3 では制約付きデコーディングを利用できません：本バンドルは制約付きデコーディングが無効な状態で提供されるため、このモデルでは response_format (json_schema および json_object) が生成中に強制されず、強制 tool_choice はモデル出力のベストエフォート解析にフォールバックします。構造化出力の保証が必要な場合は、制約付きデコーディングに対応したモデルを使用してください。
• swappable がチェックポイント単位ではなくエキスパート単位で適用される：2 つのエキスパートが同じ PEF を共有しつつ異なる swappable 値を設定している場合、先に設定されたエキスパートの値が両方に適用されます。PEF を共有するエキスパート間では、swappable を一貫した値に設定してください。

​

SambaStack v2.0.2 リリース

• 新しいリソースモデル：Model、ModelProfile、ModelDeployment、ModelBundle が BundleTemplate、Bundle、BundleDeployment を置き換え
• インフラのアップグレード：Kubernetes 1.30 → 1.35 に加え、Keycloak、CloudNativePG、OpenEBS、Redis を更新
• スタンドアロンのモデルチャート：モデル定義を独立した sambastack-models Helm リリースとして提供
• 構造化出力の生成時適用：制約付きデコーディング (constrained decoding) が有効なモデルでは、json_schema と json_object を生成後に検証するのではなく、生成中に適用
• Text-to-Speech の改善：マルチバッチストリーミングと言語の自動検出
• モデルの更新：gemma-4-31B-it が 256K コンテキストで画像・動画入力に対応
• API、デプロイメント、信頼性に関する一連の修正

​

破壊的変更

​

インフラのアップグレード

• Kubernetes (RKE2)：1.30 → 1.35
• Keycloak：26.3.1 → 26.7.0
• CloudNativePG：0.23.2 → 0.29.0 (Postgres 15 → Postgres 18)
• OpenEBS：4.3.3 → 4.5.1
• Redis：23.1.1 → 27.0.15 (Redis 8.2.1 → 8.8.0)

​

新機能と機能強化

• Model
• ModelProfile
• ModelDeployment
• ModelBundle

• BundleTemplate
• Bundle
• BundleDeployment

1. sambastack-base
2. sambastack
3. sambastack-models

• gemma-4-31B-it：gemma-4-31b-32-128-256k バンドルが、単一のバンドルで最大 256K のテキスト・画像・動画に対応し、制約付きデコーディングが有効になりました。
• qwen3-tts：talker バンドルの対応バッチサイズが、従来の 2 から 2、4、8、16 に拡大しました。
• Vision 機能：gemma-3-12b-it、gemma-3-27b-it、gemma-4-31B-it が、v1/models API を通じてテキストおよび Vision 機能を公開するようになりました。これはメタデータの修正であり、推論の動作に変更はありません。

• バッチサイズ 2、4、8、16 でのマルチバッチストリーミング生成。
• language: auto により、明示的な値を指定しなくても入力言語を検出します。
• 出力長に基づいて、リクエストを専用の vocoder エキスパートにルーティングします。
• 生成パスにおける音声転送オーバーヘッドの削減。

• リクエストは、アイドル状態のワーカーにルーティングされてキャッシュヒットを失うのではなく、すでにキャッシュを保持しているワーカーに固定されるようになりました。
• キャッシュされたリクエストでも repetition_penalty が適用されるようになりました。従来はこの値が無視され、1.0 として扱われていました。

​

API の改善と修正

• 強制 tool_choice：強制的なツール選択のもとで生成されたレスポンスが、停止理由として tool_calls を報告するようになりました。
• MiniMax のストリーミングツール呼び出し：モデルがツール呼び出しの前にテキストを出力した場合でも、ツール呼び出しが失われなくなりました。
• gemma-4-31B-it のツール呼び出し：Responses API でツール呼び出しが成功するようになりました。制約付きデコーディング下での強制ツール呼び出しは、本リリースの既知の問題です。下記の 既知の問題 をご参照ください。
• Llama-4-Maverick-17B-128E-Instruct：関数名が null の場合、HTTP 400 を返すのではなく、ツール呼び出しなしとして扱われるようになりました。

​

バグ修正

• Vision 入力での gemma-4-31B-it のクラッシュ：Vision リクエストをクラッシュさせていたバッファ形状の不一致を修正しました。Vision のプレフィルは、最大値ではなく、ランタイムが選択したシーケンス長バケットに合わせてパディングされるようになりました。
• MiniMax-M2.7 の異常出力：キャッシュヒットのないリクエストに対して、同一バイトの繰り返しからなる無意味な出力を生成するバッチングの不具合を修正しました。
• gemma-4-31B-it のトークン集計：null の prompt_tokens_details が使用状況レコードに伝播する問題を修正しました。
• gemma-4-31B-it のツール結果画像：ツールから返された画像に対して、チャットテンプレートでメディアプレースホルダが出力されるようになりました。
• ルーター再起動後の持続的なエラー：設定が利用可能になる前にルーターが起動した場合に、HTTP 500 を返し続ける問題を修正しました。設定ローダーがエラーを出さずに失敗する一方で、ヘルスチェックは正常を報告し続けていました。
• バンドルデプロイメント名：. を含む名前が、オペレーター内部の深い箇所でバリデーションに失敗するのではなく、対処可能なエラーで拒否されるようになりました。生成されるキャッシュサービス名が Kubernetes の制限内に収まるよう、バンドル名の長さに上限が設けられました。

​

提供終了と削除

• db-admin コンポーネントの削除。 データベースマイグレーション、ID 管理、クレジットは、バックエンドサービスが担うようになりました。管理者のメールアドレスは、トップレベルの db-admin: ブロックから auth-and-billing.admins に移動します。
  # Before (v1.x) — no longer has any effect
  db-admin:
    admins:
      - abc@example.com
  
  # After (v2.0.2+)
  auth-and-billing:
    admins:
      - abc@example.com
  
  残存した db-admin: ブロックがあっても Helm アップグレードは失敗せず、単に無視されます。インストールは成功したように見える一方で、そのリストに含まれるすべてのメールアドレスは、何の警告もなく Admin UI へのアクセスを失います。アップグレードの前にリストを移動してください。詳細は ユーザーアクセスと権限 をご参照ください。
• モデルルーターの 4 つのエンドポイントを削除しました：/v1/serving_config、/v1/check_auth、/v1/deployments、/v1/bundle-templates。いずれも、文書化された公開 API には含まれていませんでした。X-SN-AUTH-EMAIL ヘッダーは読み取られなくなりました。
• cd-gemma-4-31b-32-128-256k は gemma-4-31b-32-128-256k に置き換えられました。 制約付きデコーディングが全ティアで標準になったため、256K の gemma-4-31B-it バンドルには cd- プレフィックスが付かなくなりました。旧名を参照しているデプロイメントを更新してください。

​

既知の問題

• 負荷時の gemma-4-31B-it の prompt_tokens 不一致：一部のレスポンスが、処理中の別のリクエストに属する prompt_tokens 値を報告するため、使用量の集計が不正確になる可能性があります。補完の内容自体は影響を受けません。バッチサイズ 4 および 8 で確認されており、バッチサイズ 2 では発生しません。修正は次のリリースで予定されています。
• 32K 境界付近の画像を含むリクエストでの gemma-4-31B-it の HTTP 500：シーケンス長によるルーティングはテキストトークンのみをカウントし、画像トークン (画像 1 枚あたり約 258 トークン) を除外します。画像を含めた合計が 32,768 を超えるリクエストは 32K スロットにルーティングされ、HTTP 500 unexpected_error で失敗します。画像の枚数またはテキストの長さを減らして、32K 未満に収めてください。
• swappable がチェックポイント単位ではなくエキスパート単位で適用される：2 つのエキスパートが同じ PEF を共有しつつ異なる swappable 値を設定している場合、先に設定されたエキスパートの値が両方に適用されます。PEF を共有するエキスパート間では、swappable を一貫した値に設定してください。

​

SambaStack v1.2.0 リリース

• Text-to-Speech / Audio API：新しい /v1/audio/speech エンドポイント
• Prompt Caching (プロンプトキャッシング)：共通のプレフィックスを共有するリクエストのコストとレイテンシを削減
• Mistral Large 3 675B：Function calling (関数呼び出し) サポート、コンテキスト長を 32K に拡張
• MiniMax M2.7：新しい Prompt Caching バンドル
• Gemma 4 31B：最大 128K コンテキストの動画理解、または最大 256K コンテキストのテキスト専用対応 (別々のバンドルであり、併用不可)
• セキュリティ、認証、API に関する多数の改善

​

新機能と機能強化

• OpenAI の audio speech API の形式に従って、テキストから音声を生成します。
• バリデーション付きの任意の language パラメータ。サポートされていない言語を指定すると、サポート対象言語のリストとともに 400 が返されます。
• 生成スタイルを制御する任意の sampling_params オブジェクト (temperature、top_p、top_k、seed)。

• /v1/models の pricing オブジェクトに、トークンあたりのキャッシュ料金を示す input_cache_read および input_cache_write フィールドが追加されました。
• レスポンスの usage オブジェクトで、cached_tokens が input_tokens とは別に報告されます。
• MiniMax M2.7 の Prompt Caching バンドルが SambaStack で利用可能になりました。

• Mistral Large 3 675B (Mistral-Large-3-675B-Instruct-2512)：Function calling サポートを追加し、コンテキスト長のサポートを 32K に拡張しました。
• MiniMax M2.7 (MiniMax-M2.7)：デフォルトサンプリングが有効な、新しい Prompt Caching バンドル。
• Gemma 4 31B (gemma-4-31B-it)：gemma-4-31b-32-128k バンドルで最大 128K コンテキストの動画理解を、別の cd-gemma-4-31b-32-128-256k バンドルで最大 256K に拡張されたテキスト専用コンテキストをサポートするようになりました。両者は併用できません。256K バンドルはテキスト専用であり、画像・動画入力はサポートしません。
• Qwen3-TTS (qwen3-tts)：新しい /v1/audio/speech エンドポイント向けの talker および vocoder モデル。

​

API の改善と修正

• stop_reason：モデルがツールを呼び出した際に、正しく "tool_use" を返すようになりました。
• disable_parallel_tool_use：正しく適用されるようになりました。
• role: "system"：MCP クライアントとの互換性のため、messages[] 配列が role: "system" を受け付けるようになりました。
• 認証エラーの形式：認証エラーが Anthropic 標準のエラーエンベロープを返すようになりました。

​

バグ修正

• サービスティアのデフォルト：一部のモデルがデフォルトでどのサービスティアにも含まれず、リクエストを処理できるようにするには手動でのセットアップが必要になる問題を修正しました。すべてのモデルがデフォルトで含まれるようになりました。
• Vision モデルのパス置換：Vision モデルのパス置換に関する問題を修正しました。
• カスタムバンドルにおける Gemma 4 のツール呼び出し：カスタムバンドルで Gemma 4 が不正な形式のツール呼び出しレスポンスを返す問題を修正しました。
• マルチモーダルパイプライン：マルチモーダルメッセージの前処理中に reasoning フィールドが欠落する問題を修正しました。
• 思考プレフィックス：思考プレフィックスを必要としないレスポンスに、余分な思考プレフィックスが出力される問題を修正しました。
• Liveness probe：長時間の単一リクエスト生成の実行中も liveness probe が維持されるようになり、モデルがレスポンスを生成している最中の誤検知による再起動を防止します。
• Qwen3-TTS の音声アーティファクト：PyTorch を 2.4 → 2.7 にアップグレードし、生成音声のバースト雑音を解消しました。
• 不正なバンドルリソース：hugepages が cpu/memory の制限なしで指定されていた、デフォルトのバンドルリソース仕様を修正しました。
• エアギャップ環境向けの Tiktoken キャッシュ：エアギャップ環境の GPT-OSS デプロイメント向けに、Tiktoken の語彙ファイルがキャッシュされるようになりました。

​

既知の問題

• Gemma 4 31B の制約付きデコーディング (constrained decoding)：テキスト専用入力の場合にのみ利用できます。
• Qwen3-TTS のストリーム途中の音声アーティファクト：約 60 秒を超えるクリップで、断続的な音声の乱れが発生します。長時間の音声合成ジョブでは、クリップが長くなるほどアーティファクトの発生頻度が増加します。60 秒未満のクリップは通常影響を受けません。
• Qwen3-TTS の長文入力での音声品質低下：約 1,000 語以上のテキスト入力では、生成の途中で音声品質が低下し、場合によってはほぼ無音や不明瞭な出力になることがあります。最良の結果を得るには、個々の TTS リクエストを 800 語未満に抑え、長いコンテンツは複数のリクエストに分割してください。
• Qwen3-TTS の voice バリデーションの欠如：voice フィールドが無効または欠落しているリクエストに対して、4xx エラーではなく音声出力付きの HTTP 200 が返されます。
• DeepSeek-V3.2 の response_format：DeepSeek-V3.2 では、構造化出力リクエスト (response_format: json_object または json_schema) が失敗することがあります。これは前リリースから継続しているリグレッションです。
• 70b-3dot3-ss-full-whisper がデプロイに失敗：このバンドルは、繰り返し発生する起動プローブのタイムアウトにより起動に失敗します。再デプロイを試みても問題は解決しません。

​

SambaStack v1.1.1 リリース

​

新機能と機能強化

• Mistral Large 3 675B (Mistral-Large-3-675B-Instruct-2512)
• gpt-oss 20B (gpt-oss-20b)
• Gemma 4 31B (gemma-4-31B-it)：Function calling および reasoning パーサーをサポート
• MiniMax M2.7 (MiniMax-M2.7)

• PEF-1914 (gpt-oss-fp8-ss131072-bs8-dyt-1-cd:2)：既存の gpt-oss-120b モデル向け。gpt-oss-fp8-ss131072-bs8-dyt-1-cd のより高性能なバージョンで、logit_bias のサポートが追加されています。
• PEF-1910 (minimax-m2p5-ss196608-bs2-dyt-1-cd:1)：MiniMax-M2.5 と MiniMax-M2.7 の両方に対して、構造化出力サポート付きで最大 192k のコンテキスト長を提供します。

• チェックポイント共有は、PEF CR に基づいて自動的に構成されるようになりました。 checkpoint_sharing_uuid は常に対応する PEF CR から取得されます。ビルド済みバンドルはこの値をオーバーライドしなくなりました。ユーザー定義バンドルでもオーバーライドしないでください。
• continuous_batching と constrained_decoding は、バンドルではなく PEF CR で構成されるようになりました。
• BundleTemplates にエキスパートレベルのフィールドとして apply_default_sampling_params が追加されました。True に設定すると、サンプリングパラメータの値がモデルの generation_config.json から取得されます。

​

API の改善と修正

• OpenAI の仕様 に準拠し、トークン ID を -100〜100 の範囲のバイアス値にマッピングする JSON オブジェクトを受け付けます。
• テキスト生成モデルにのみ適用されます。高スループットモデルおよびマルチモーダルモデルではサポートされません。

{
  "error": {
    "message": "Token id 99999999 is out of the vocabulary range.",
    "type": "invalid_request_error",
    "param": "logit_bias",
    "code": "invalid_value"
  },
  "request_id": "d7tfhubndjoecjv2ao50"
}

​

バグ修正

configs:
  modelSpecs:
  - "*"
  - name: example-model
    metadata:
      category: []          # empty list now applied
      provider: ""          # empty string now applied
    price:
      input_tokens: 0       # zero int now applied
      output_tokens: 0
    public: false           # scalar bool now applied

​

既知の問題

• Mistral Large 3 675B (Mistral-Large-3-675B-Instruct-2512) には現在、Function calling の精度に問題があります。
• gpt-oss-20b および gpt-oss-120b は、エアギャップ環境ではデプロイに失敗します。エアギャップ環境でのこれらのモデルのデプロイについては、SambaNova 管理者にお問い合わせください。

​

SambaStack v1.0.57 リリース

​

新機能と機能強化

• Gemma 3 12B (gemma-3-12b-it)：画像理解
  • gemma3-v3: 128K コンテキスト、BS 2/4/6/8
• Gemma 3 27B (gemma-3-27b-it)：画像理解
  • gemma3-27b-32-128k: 32K および 128K コンテキスト、BS 2/4/6/8
• Qwen3 235B (Qwen3-235B-A22B-Instruct-2507)：従来の Qwen3-235B モデル名は後方互換性のために維持されます
  • dyt-qwen3-235b-32-128k: 32K コンテキスト (BS 2/4/6/8)、128K コンテキスト (BS 2)
  • qwen3-235b-16-32-64k: 16K、32K、64K コンテキスト
  • qwen3-235b-128k: 128K コンテキスト
• DeepSeek V3.2：高インタラクティビティ構成 (最大 128k コンテキスト) と高スループット構成 (最大 32k コンテキスト) で利用可能
• GPT-OSS 120B：制約付きデコーディング機能を追加。従来の標準 DYT バンドルは、制約付きデコーディングサポートが有効な 2 つのバンドルに置き換えられます
  • cd-dyt-gpt-oss-120b-32-64-128k: 32K、64K、128K コンテキスト
  • cd-dyt-gpt-oss-120b-8-32-64-128k: 8K、32K、64K、128K コンテキスト

• 単一モデルの大規模なサービングに最適化されており、ユーザーごとのレイテンシよりもシステム全体のスループットを優先して、大量の同時ユーザーをサポートします
• 低いエンドツーエンドレイテンシやインタラクティブ性を必要としないユースケースに適しています
• この構成専用に最低 4 台の SambaRack ノードが必要です
• 他のモデルとバンドルすることはできません
• ユーザーに対して透過的であり、API やクライアントコードの変更は不要です
• 分離型の prefill-decode アーキテクチャを使用し、ノード比率を構成できます (例: 3 ノードで prefill、1 ノードで decode を実行)

• decode_queue_time：処理開始までにリクエストが decode キューで待機する時間 (1.0.57 の新機能)
• time_to_first_token：リクエスト受信から最初の出力トークンまでのレイテンシ
• completion_tokens_per_sec：decode スループット

• preview：新たに利用可能になった構成。十分にテストされていない場合や、完全な機能サポートがない場合があります。本番のユースケースには推奨されません
• stable：十分にテストされた、本番利用可能な構成
• deprecated：まだ機能しますが、将来のリリースでの削除が予定されています
• removed：利用できなくなっており、デプロイ前に置き換えが必要です

​

API の改善と修正

• 現在の対応モデル: gpt-oss-120b
• 対応機能: テキスト生成 (ストリーミングおよび非ストリーミング)、Function calling (2 ステップ)、構造化出力 (JSON スキーマ)、マルチターン会話 (クライアント管理の状態)、および推論出力
• ステートレスなリクエストセマンティクスを使用します。会話履歴はリクエストごとにクライアントから渡されます

• Release 1.0.57 で tool_choice をサポートするのは gpt-oss-120b のみです
• 関数呼び出しを強制する場合の形式は Chat Completions API の構造に従います。内側の "function" キーが必須であり、これを省略する Responses API の形式とは異なります
• allowed_tools はサポートされません

• 有効範囲: 1〜16 (デフォルト: 1)
• API レベルの分解によって実装されています。n 個の並列な単一補完リクエストが発行され、結合された後にクライアントへ返されます
• リクエストに tools または functions が含まれる場合はサポートされません

• 負の値を含む任意の整数を受け付けます
• テキスト生成モデルにのみ適用されます。マルチモーダルモデルおよび continuous batching モデルではサポートされません
• (OpenAI とは異なり) system_fingerprint は返されません

{
  "request_id": "abc-123",
  "error": {
    "message": "...",
    "type": "...",
    "param": null,
    "code": "..."
  }
}

​

バグ修正

​

既知の問題

• 影響：gemma-3-12b-it で tools パラメータを使用したリクエストは、関数呼び出しの出力を生成しません。
• 回避策：ユーザープロンプトでツール利用ロジックを実装することで、Function calling の動作を近似できます。

• 影響：104k〜112k トークンのコンテキスト長での gemma-3-27b-it への Vision リクエストで、レイテンシの増大を伴う断続的な HTTP 524 タイムアウトエラーが発生することがあります。テキストモードおよび Function calling モードは影響を受けません。
• 回避策：当面は、104k〜112k のコンテキストウィンドウ範囲での Vision リクエストを避けてください。現在、修正に向けて調査中です。

​

SambaStack v0.5.17 リリース

​

新機能と機能強化

• デフォルトのメモリ制限は 12TB です。4TB の DDR を搭載した SambaRack SN40L-16 をサポートするには、この値を更新してください。
• DDR_PER_RDU_GB 環境変数を設定します。デフォルトは 768 (ノードあたり 12TB) で、ノードあたり 4TB の場合は 256 に設定します。詳細は SambaStack.yaml リファレンス をご参照ください
• メモリ制限は、クラスター内のすべての SambaRack ノードに適用されます。
• バンドル検証ツールが、実行時にこの制限を適用します。制限を超える構成は、内容のわかるエラーで失敗するため、モデル構成を削減する形でリファクタリングする必要があります。

​

既知の問題

• 影響：表示上の問題のみです。動作には影響しません。
• 解決：将来のリリースで解決される見込みです。

​

SambaStack v0.5.14 リリース

​

新機能と機能強化

kubectl -n <namespace> describe model <model-name>

kubectl describe model minimax-m2.5

• Model CR に、対応するすべてのモデルのチェックポイントパス情報が含まれるようになりました。
• 異なるモデル構成向けの複数のチェックポイントをサポートします。
• 既存のバンドル構成と後方互換性があります。バンドル CR でチェックポイントパスが指定されている場合は、そちらが Model CR のパスをオーバーライドします。
• オンプレミスおよびエアギャップ環境のデプロイメントで動作します。

• モデルは kubectl -n <namespace> get models で確認できます。
• バンドルは kubectl -n <namespace> get bundles で確認できます。

• gpt-oss-120b
  • シーケンス長: 32K、BS: 4
  • シーケンス長: 64K、BS: 2
  • シーケンス長: 128K、BS: 2
• Llama-4-Maverick-17B-128E-Instruct
  • シーケンス長: 8K、BS: 1
  • シーケンス長: 16K、BS: 1
• Meta-Llama-3.3-70B (ターゲット) / Meta-Llama-3.2-1B (ドラフト)
  • シーケンス長: 4K、BS: 1、4、8、16、32
  • シーケンス長: 8K、BS: 1、4、8
  • シーケンス長: 16K、BS: 1、4
  • シーケンス長: 32K、BS: 1、4
  • シーケンス長: 64K、BS: 1
  • シーケンス長: 128K、BS: 1
• Meta-Llama-3.1-8B-Instruct
  • シーケンス長: 4K、BS: 1、4、16、32
  • シーケンス長: 8K、BS: 1、4、16、32
  • シーケンス長: 16K、BS: 1、4、8
• E5-Mistral-7B-Instruct
  • シーケンス長: 4K、BS: 1、4、8、16、32

• チェックポイントには、お使いのアーティファクトリーダーサービスアカウントでアクセスできます。
• バンドル検証を通過するバンドルに MiniMax-M2.5 を含めて、正常にデプロイできます。
• 推論 (reasoning) サポートを含みます。

• インストール前スクリプト：ハードウェア、接続性、ソフトウェアのすべての前提条件を検証します。
• インストール後スクリプト：すべての SambaStack コンポーネントがインストールされ、正常に動作していることを確認します。
• 明確な合否レポートと、失敗時に実行可能な対応ガイダンスを提供します。
• スクリプトは、現行の SambaStack リリースに対して保守・検証されています。
• README の手順とともに、公開 GitHub リポジトリ sambastack-tools で配布されています。

• サービスティア構成の contextGroups を使用して、コンテキスト長グループごとにキュー深度を構成できるようになりました。
• キュー深度は、モデル構成に対してキューイングできる同時リクエスト数を制御します。
• コンテキスト長が大きいものほどキュー深度を低くすることで、メモリの枯渇を防ぎ、サービス全体の安定性を向上させることができます。
• SambaStack がリクエスト時にキュー深度構成を検証するようになりました。キュー深度の定義が欠落した構成ミスのあるモデルは、暗黙のうちに失敗するのではなく、明確なエラーを表示します。
• contextLengths の空文字列 "" は、コンテキスト長サフィックスのないベースモデル名 (例: DeepSeek-R1-0528) へのリクエストにマッチします。-8k や -128k などの明示的なサフィックスを持つリクエストは、対応する contextLengths の値にマッチします。

free:
  - models:
      - DeepSeek-V3-0324
      - DeepSeek-R1-0528
    queueDepth: 10
    qos: free
    rates:
      - allowedRequests: 100
        periodSeconds: 60
example_service_tier:
  inherits: free
  overrides:
    - models:
        - DeepSeek-V3-0324
      queueDepth: 10
      qos: example
      rates:
        - allowedRequests: 100
          periodSeconds: 60
    - models:
        - DeepSeek-R1-0528
      queueDepth: 10
      qos: example
      contextGroups:
        - contextLengths: ["", "8k"]
          queueDepth: 2
        - contextLengths: ["16k", "32k", "64k", "128k"]
          queueDepth: 1
      rates:
        - allowedRequests: 100
          periodSeconds: 60

bundles:
  substitutions:
    gs://<SAMBASTACK_ARTIFACTS_BUCKET>: nfs:///nfsdata

global:
  substitutions:
    gs://<SAMBASTACK_ARTIFACTS_BUCKET>: nfs:///nfsdata

​

API の改善と修正

• OpenAI の ChatCompletionsContentPartText 仕様に準拠した、コンテンツ配列内のテキストオブジェクトのサポートを拡大しました。
• 対象: DeepSeek-R1-0528、Llama-3.3-Swallow-70B-Instruct-v0.4、MiniMax-M2.5。

• logprobs フィールドを追加しました。true に設定すると、生成された各トークンの対数確率が返されます。
• top_logprobs フィールドを追加しました。整数 n に設定すると、各生成に対して上位 n 個の対数確率が返されます。

• ストリーミングレスポンスで返されるチャンクから、部分的な使用量統計を取得できる非標準機能を追加しました。
• この機能は、カスタムバンドルデプロイメントのレプリカグループセクションで STREAM_USAGE_IN_CHUNKS: true を設定することで有効になります。

• tool_choice: none を指定すると、モデルが利用可能なツールを参照しないことが保証されます。

• chat/completions エンドポイントが不正なメッセージロールを拒否するようになりました。受け付けられるのは user、assistant、system、tool のみです。

• 音声ファイルの処理に失敗した場合、Whisper 文字起こしエンドポイントが、単なる HTTP 400 ステータスコードではなく、内容のわかるエラーメッセージを返すようになりました。

​

バグ修正

• Function calling のルーティングでモデル名のプレフィックスチェックが正しく適用されず、一部のモデルでツールルーティングがスキップされる問題を修正しました。

• エアギャップインベントリに正しい cloudnative-pg イメージ構成を含めるよう修正し、オフラインインストール中のイメージ欠落エラーを防止しました。

​

既知の問題

​

SambaStack v0.4.8 リリース

​

新機能と機能強化

• エアギャップ構成のインストール、アップグレード、セットアップは、SambaNova サポートと連携して実施します。
• 日常的な管理 (認証、ユーザー管理、カスタム DB) はセルフサービスを想定して設計されており、オンプレミスデプロイメントと同じワークフローに従います。

• デフォルトでは、バンドル内のすべてのモデルは HBM からスワップアウトして、DDR メモリ内の他のモデルと入れ替えることができます。
• この動作を有効または無効にするには、バンドルの YAML 定義で swappable: <boolean> フィールドを使用します。
• デフォルト値は true です。false に設定すると、モデルは HBM に常駐したままスワップアウトされなくなり、そのモデルへのリクエストの切り替え時間がゼロになります。

​

API の改善と修正

• OpenAI の ChatCompletionsContentPartText 仕様に準拠した、コンテンツ配列内のテキストオブジェクトのサポートを追加しました。
• 対象: gpt-oss-120b、DeepSeek-V3.1、DeepSeek-V3.1-Terminus、DeepSeek-V3.2、DeepSeek-V3-0324、Qwen3-32B、Qwen3-235B。

• response_format=text を指定するとエラーになる問題を修正しました。
• エンドポイントが OpenAI のすべての形式 (text、json_object、json_schema) をサポートするようになりました。

• OpenAI の仕様に合わせて、temperature の範囲を 0.0〜1.0 から 0.0〜2.0 に拡大しました。

• number 型の引数を持つツールが、常に float を返していました。
• JSON Schema の number 仕様 に合わせて、整数が整数として保持されるようになりました。

• parallel_tool_calls パラメータのサポートを追加しました。
• false に設定すると、OpenAI の仕様 に従い、モデルはレスポンスごとに最大 1 回のツール呼び出しのみを行います。

• ストリームの各チャンクでトークン使用量をレポートするサポートを追加しました。

​

既知の問題

• 制約付きデコーディングとの並列ツール呼び出し。
• 以下のモデルは、logprobs=true または top_logprobs が設定されていても、logprobs に null を返します。パラメータはエラーなく受け付けられますが、効果はありません。
  • Llama-4-Maverick-17B-128E-Instruct
  • Whisper-Large-v3

​

SambaStack 初回リリース

​

新機能と機能強化

• セットアップ、インストール、環境構成。
• ユーザーおよび認証管理 (Keycloak、OIDC)。
• 監視、ログ管理、アーティファクト管理。
• バンドルおよびモデルのデプロイワークフロー。
• よく使用されるコマンドリファレンス。

• 対応するすべてのモデルの一覧 (例: Llama 3.3、Llama 4 Maverick、DeepSeek)。
• コンテキスト長、バッチサイズのオプション、対応機能の表示。
• お使いの環境での利用可否を確認するための、Model list API の使用手順。