拡張トークン生成

SambaStack は、ignore_eos API パラメータによる拡張トークン生成 (extended token generation) をサポートしています。デフォルトでは、モデルは応答の完了を示すシグナルである EOS (End of Sequence) トークンを生成した時点で、生成を停止します。ignore_eos を有効にすると、モデルはこのシグナルを無視し、max_tokens に達するまでトークンを生成し続けます。これは、モデルが自然に停止するタイミングにかかわらず固定長の出力を必要とする、AIPerf などのベンチマークツールで有用です。

ignore_eos はデフォルトで無効です。ユーザーが API リクエストでこのパラメータを渡せるようにするには、SambaStack 管理者がデプロイメントごとに明示的に有効化する必要があります。ENABLE_IGNORE_EOS が設定されていないデプロイメントで ignore_eos: true を渡してもエラーは返されません。パラメータは黙って無視され、モデルは ignore_eos: false の場合と同じように動作します。

デプロイメントでの ignore_eos の有効化

ユーザーがデプロイメントで ignore_eos を渡せるようにするには、ModelDeployment の YAML の engineConfig.env_vars の下に ENABLE_IGNORE_EOS: "true" を追加します。

apiVersion: sambanova.ai/v1alpha1
kind: ModelDeployment
metadata:
  name: md-<name>
spec:
  bundle: <bundle_name>
  groups:
  - minReplicas: 1
    name: default
    qosList:
    - free
  owner: no-reply@sambanova.ai
  secretNames:
  - sambanova-artifact-reader
  engineConfig:
    startupTimeout: 7200
    env_vars:
      ENABLE_IGNORE_EOS: "true"

上記の例では、spec.bundle を通じてバンドルをデプロイしています。インラインの spec.models を使用する単一モデルのデプロイメントでも、同じ engineConfig.env_vars ブロックが適用されます。併記されている startupTimeout の単位は秒で、7200 を指定すると、エンジンは大規模なバンドルのロードに 2 時間を確保できます。詳細は起動タイムアウトをご覧ください。更新した ModelDeployment の YAML を適用します。

kubectl apply -f myModelDeployment.yaml

SambaWiz ユーザーは、Model Deployment ページで生成された YAML に engineConfig.env_vars ブロックを追加するだけで済みます。spec の残りの部分は自動的に生成されます。

API リクエストでの ignore_eos の使用

デプロイメントに ENABLE_IGNORE_EOS が設定されると、ユーザーは chat completions のリクエストボディで ignore_eos: true を渡せるようになります。

ignore_eos は vLLM の拡張であり、標準の OpenAI API には含まれません。SambaNova と OpenAI のどちらの Python クライアントでも、extra_body 経由で指定できます。

from sambanova import SambaNova

client = SambaNova(
    base_url="your-sambanova-base-url",
    api_key="your-sambanova-api-key",
)

response = client.chat.completions.create(
    model="Meta-Llama-3.3-70B-Instruct",
    messages=[
        {"role": "user", "content": "Generate 500 words on the topic of renewable energy."}
    ],
    max_tokens=500,
    extra_body={"ignore_eos": True},
)

print(response.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="your-sambanova-base-url",
    api_key="your-sambanova-api-key",
)

response = client.chat.completions.create(
    model="Meta-Llama-3.3-70B-Instruct",
    messages=[
        {"role": "user", "content": "Generate 500 words on the topic of renewable energy."}
    ],
    max_tokens=500,
    extra_body={"ignore_eos": True},
)

print(response.choices[0].message.content)

動作

`ignore_eos` の値	効果
`false` (デフォルト)	EOS トークンを生成するか `max_tokens` に達するか、いずれか早い時点でモデルは生成を停止します
`true`	モデルは EOS トークンを無視し、`max_tokens` に達するまで生成を続けます

ignore_eos はベンチマークやテストのワークロード向けであり、本番のユーザートラフィックでの使用は想定されていません。SambaStack 1.2 における既知の同時実行数の制限 (SambaStack 2.0 で対応予定):

同時実行数 1: 安定して動作します。
同時実行数 3: 出力長が 64K トークン以上の場合に失敗が発生します。
同時実行数 10 以上: すべての出力サイズで 100% 失敗します。

はじめに

サービス管理

ハードウェア管理

リファレンスアーキテクチャ

リソース

デプロイメントでの ignore_eos の有効化

API リクエストでの ignore_eos の使用

動作

​デプロイメントでの ignore_eos の有効化

​API リクエストでの ignore_eos の使用

​動作

デプロイメントでの ignore_eos の有効化

API リクエストでの ignore_eos の使用

動作