メインコンテンツへスキップ
vLLM は、LLM のためのオープンソースの推論・サービングエンジンです。vLLM は OpenAI 互換の API を提供するため、セルフホストの vLLM サーバー向けに openai Python クライアントで書いたコードは、ベース URL、API キー、モデルを変更するだけで SambaCloud に対して実行できます。本ページでは、その変更内容と、あわせて調整が必要な点を説明します。

前提条件

  • SambaCloud のアカウントと API キー
  • Python 3.10 以上と openai パッケージ (pip install openai)

OpenAI クライアントの接続先を SambaCloud に変更

vLLM 自身のドキュメントでは、セルフホストしたサーバーへの問い合わせを次のように示しています。
vllm_local.py
接続先を SambaCloud に切り替える場合、主な変更点は base_url、api_key、model の 3 つです。
sambanova_swap.py
Output (abridged)

vLLM 固有のパラメータ

vLLM の OpenAI 互換サーバーは、top_k のように標準の OpenAI API にはないパラメータをいくつかサポートしており、クライアントの extra_body 引数を通じて渡します。
SambaCloud は、vLLM と同じように extra_body 経由の top_k を受け付けます。SambaCloud が対応するその他のパラメータについては、OpenAI 互換性 をご参照ください。

ツール呼び出し

vLLM の ツール呼び出しの例 は、ストリーミングを含めて標準の tools 引数を使用しています。非ストリーミングの呼び出しは、同じ tools 引数のまま SambaCloud でも動作します。ストリーミングのループには、下の警告で説明するガードが 1 つ必要です。
Output
SambaCloud からのストリーミング応答は、必ず choices リストが空の最終チャンクで終わります (このチャンクは usage の統計情報のみを運びます)。vLLM 自身のストリーミング例は chunk.choices[0] を無条件に参照するため、この最終チャンクで IndexError が発生します。chunk.choices[0].delta を読む前に、if not chunk.choices: continue でガードしてください。

構造化出力 (JSON スキーマ)

vLLM の 構造化出力の例 は、json_schema を指定した response_format を使用しています。SambaCloud も同じ response_format を受け付けます。
Output

トラブルシューティング

実行前にキーをエクスポートしてください: export SAMBANOVA_API_KEY="your-key"。echo $SAMBANOVA_API_KEY で確認できます。
NousResearch/Meta-Llama-3-8B-Instruct のような vLLM のモデル名は Hugging Face のリポジトリパスであり、そのままでは使えません。代わりに SambaCloud のモデル ID を使用してください。現在の一覧は SambaCloud モデル をご参照ください。
ストリーミング応答の最終チャンクは、choices リストが空です (トークン使用量のみを運びます)。上の ツール呼び出し で説明したとおり、chunk.choices[0] を参照する前に、choices が空のチャンクをスキップしてください。

参考情報