openai Python クライアントで書いたコードは、ベース URL、API キー、モデルを変更するだけで SambaCloud に対して実行できます。本ページでは、その変更内容と、あわせて調整が必要な点を説明します。
前提条件
- SambaCloud のアカウントと API キー
- Python 3.10 以上と
openaiパッケージ (pip install openai)
OpenAI クライアントの接続先を SambaCloud に変更
vLLM 自身のドキュメントでは、セルフホストしたサーバーへの問い合わせを次のように示しています。vllm_local.py
base_url、api_key、model の 3 つです。
sambanova_swap.py
Output (abridged)
vLLM 固有のパラメータ
vLLM の OpenAI 互換サーバーは、top_k のように標準の OpenAI API にはないパラメータをいくつかサポートしており、クライアントの extra_body 引数を通じて渡します。
SambaCloud は、vLLM と同じように
extra_body 経由の top_k を受け付けます。SambaCloud が対応するその他のパラメータについては、OpenAI 互換性 をご参照ください。ツール呼び出し
vLLM の ツール呼び出しの例 は、ストリーミングを含めて標準のtools 引数を使用しています。非ストリーミングの呼び出しは、同じ tools 引数のまま SambaCloud でも動作します。ストリーミングのループには、下の警告で説明するガードが 1 つ必要です。
Output
構造化出力 (JSON スキーマ)
vLLM の 構造化出力の例 は、json_schema を指定した response_format を使用しています。SambaCloud も同じ response_format を受け付けます。
Output
トラブルシューティング
KeyError: SAMBANOVA_API_KEY
KeyError: SAMBANOVA_API_KEY
実行前にキーをエクスポートしてください:
export SAMBANOVA_API_KEY="your-key"。echo $SAMBANOVA_API_KEY で確認できます。Model not found
Model not found
NousResearch/Meta-Llama-3-8B-Instruct のような vLLM のモデル名は Hugging Face のリポジトリパスであり、そのままでは使えません。代わりに SambaCloud のモデル ID を使用してください。現在の一覧は SambaCloud モデル をご参照ください。IndexError: list index out of range while streaming
IndexError: list index out of range while streaming
ストリーミング応答の最終チャンクは、
choices リストが空です (トークン使用量のみを運びます)。上の ツール呼び出し で説明したとおり、chunk.choices[0] を参照する前に、choices が空のチャンクをスキップしてください。
