SambaNova は Anthropic Messages API にも対応しています。Anthropic 互換性 および Messages API ページをご参照ください。
ライブラリのインストール
以下のコマンドを実行してライブラリをダウンロードします。OpenAI クライアントライブラリでの SambaNova API の利用
base_url と api_key の 2 つの値を設定して、OpenAI クライアントライブラリが SambaNova の推論 API を使用するように構成します。
SambaNova API キーをお持ちでない場合は、API キーと URL ページから取得してください。
非ストリーミングの例
以下のコードは、OpenAI の Python クライアントで非ストリーミングの補完を行う例です。ストリーミングの例
以下のコードは、OpenAI の Python クライアントでストリーミングの補完を行う例です。ストリーミングモードでは、API は複数のトークンを含むチャンクを返します。1 秒あたりのトークン数や出力トークンあたりの時間などのメトリクスを計算する際は、各チャンク内のすべてのトークンをカウントしてください。
Responses API
SambaNova は、Chat Completions エンドポイントに加えて、OpenAI Responses API 標準と互換性のある Responses API エンドポイントPOST /v1/responses を提供しています。すでに OpenAI SDK で Responses API を利用している場合は、同じ構成のまま接続先を SambaNova に切り替えるだけで利用できます。
現在未対応の OpenAI 機能
以下の機能は現時点では未対応のため、指定しても無視されます。presence_penaltyfrequency_penalty
機能の差異
n: SambaNova API では 1〜8 の値に対応しています (整数、デフォルト 1)。OpenAI には明文化された上限はありません。なお、Function calling (関数呼び出し) やツールの利用時には 1 より大きい n は未対応であり、組み合わせると 400 エラーが返されます。
seed: テキスト生成モデルについて、SambaStack と SambaCloud の両方で対応しています。同じ入力に対して同じ seed を渡すと、決定的な出力が得られます。負の値を含む任意の整数を指定できます。
OpenAI と異なり、SambaNova API はレスポンスに
system_fingerprint フィールドを返しません。seed パラメータは、マルチモーダルモデルおよび連続バッチ処理 (continuous batching; CB) モデルでは未対応です。logit_bias
テキスト生成モデルについて、SambaStack と SambaCloud の両方で対応しています。トークン ID を -100 から 100 までのバイアス値にマッピングする JSON オブジェクトを指定します。負の値は対応するトークンの出現を抑制し、正の値は出現を促進します。トークン ID はモデルごとに異なるため、対象モデルのトークナイザーで確認してください。
logit_bias パラメータは、マルチモーダルモデルおよび高スループットモデルでは未対応です。未対応のモデルに対して logit_bias を指定したリクエストは、パラメータが黙って無視されるのではなく、エラーが返されます。logit_bias は、logit マスキングに対応したデプロイメントでのみ利用できます。SambaStack 1.1.1 に同梱されるモデルは、既定でこの機能に対応しています。OpenAI クライアントで未対応の SambaNova API 機能
SambaNova API はtop_k パラメータに対応していますが、OpenAI クライアントライブラリでは対応していません。
