Qdrant での SambaNova の使われ方
Qdrant には Embedding を代わりに生成する機能がありますが、対象は Qdrant が把握しているモデルに限られます。Qdrant Cloud Inference は Qdrant 自身がホストするモデルを提供し、外部プロバイダー は OpenAI、Cohere、Jina AI、OpenRouter に限られます。どちらも Qdrant Cloud 経由で利用するもので、カスタムのベース URL を設定する手段はないため、Qdrant が SambaNova のエンドポイントを代わりに呼び出すことはできません。 Qdrant の 推論オプション には、独自の推論サービスを運用するチーム向けの代替手段として、クライアントサイド推論が示されています。テキストを自分で埋め込み、そのベクトルを保存・クエリする方式です。本ガイドはこの方式を採用しており、両方の呼び出しを行うのはお使いのコードです。SambaStack でテキストを埋め込み、そのベクトルを Qdrant に送信します。前提条件
E5-Mistral-7B-Instructをサービングしている SambaStack インスタンスと、そのインスタンスのベース URL および API キー。API キーと URL をご参照ください。- 同インスタンス上のチャットモデル。本ガイドでは
gpt-oss-120bを使用します。 - 稼働中の Qdrant サーバー、または Qdrant Cloud のクラスター。ローカルで実行する場合は、Qdrant クイックスタート に従ってください。サーバーなしで本ガイドを試すには、代わりに
QdrantClient(":memory:")でクライアントを作成してください。 - Python 3.10 以上。
インストールとセットアップ
1
仮想環境の作成
2
依存パッケージのインストール
qdrant-client 1.20.0、openai 3.40.0、Qdrant サーバー 1.20.0 で動作確認済みです。3
SambaStack のベース URL、API キー、Qdrant URL の設定
SambaStack のベース URL は、末尾が
/v1 である必要があります。以下の Qdrant URL は、ローカルサーバーのデフォルト値です。Qdrant Cloud の場合は、QDRANT_URL にクラスターの URL を設定し、あわせて QDRANT_API_KEY にクラスターの API キーを設定してください。ローカルサーバーにキーは不要です。Embedding の生成、保存、クエリ
このセクションのステップは、1 つの Python ファイルまたはセッション内で実行してください。各ステップでは、前のステップで定義した変数を使用します。1
ドキュメントの埋め込み
OpenAI クライアントは、SambaStack の Embedding エンドポイントに対してそのまま機能します。
E5-Mistral-7B-Instruct は 4096 次元のベクトルを返し、これが次のステップで作成する Qdrant コレクションのサイズになります。2
コレクションの作成とベクトルのアップサート
コレクションの
size には、直前に作成したベクトルの長さを設定します。ベクトルがこのサイズと一致しないアップサート (upsert) を、Qdrant は拒否します。ポイント ID には符号なし整数または UUID しか使えないため、テキストはペイロードに格納します。upsert はデフォルトで書き込みの完了を待つため、戻った直後からクエリを実行できます。3
コレクションのクエリ
E5-Mistral-7B-Instruct はインストラクションチューニング済み (instruction-tuned) のモデルであるため、各クエリは、インストラクションに続けて質問を書く形式にします。ドキュメント側は、プレーンテキストとして埋め込みます。4
SambaNova チャットモデルでの回答生成
検索で取得したパッセージを、コンテキストとしてチャットモデルに渡します。
question は、ステップ 3 の検索で使用したものと同じ質問です。モデルは、SambaNova が SN40L チップを製造していると回答します。5
使い終わったコレクションの削除
参考情報
Qdrant ドキュメント
コレクション、ポイント、検索、デプロイを扱う公式ガイドです。
Qdrant の推論オプション
Qdrant 向けに Embedding を生成する、サーバーサイドとクライアントサイドの方法です。
FastEmbed
Qdrant のローカル Embedding ライブラリです。上記の SambaCloud に関する注記で使用しています。
Embedding (埋め込み) 機能の実装
SambaStack で SambaNova の Embedding モデルを利用する方法です。
トラブルシューティング
KeyError: 'QDRANT_URL'
KeyError: 'QDRANT_URL'
セットアップのステップで設定する環境変数が、Python を実行するシェルに設定されていません。エラーには、
QDRANT_URL、SAMBANOVA_BASE_URL、SAMBANOVA_API_KEY など、不足している変数名が表示されます。インストールとセットアップ のとおり設定し、同じシェルからコードを再実行してください。Wrong input: Vector dimension error: expected dim: 4096, got 1536
Wrong input: Vector dimension error: expected dim: 4096, got 1536
コレクションが、アップサートしようとしているベクトルとは異なる
size で作成されています。E5-Mistral-7B-Instruct は、入力 1 件につき 4096 個の値を返します。コレクションを削除して size=4096 で作成し直すか、上記のとおり返されたベクトルから長さを読み取ってください。409 Conflict: Collection already exists
409 Conflict: Collection already exists
コレクションがすでに存在します。上記のコードは、コレクションが存在する場合は
create_collection をスキップします。このチェックを削除した場合は、client.delete_collection("sambanova-demo") でコレクションを削除してください。400 Bad Request: value doc1 is not a valid point ID
400 Bad Request: value doc1 is not a valid point ID
ポイント ID には、符号なし整数または UUID しか使えません。ID には数値または
str(uuid.uuid4()) を使用し、独自のラベルはペイロードに保持してください。QdrantClient の接続が Connection refused で失敗する
QdrantClient の接続が Connection refused で失敗する
QDRANT_URL で待ち受けている Qdrant サーバーがありません。Qdrant クイックスタート に従ってサーバーを起動し、URL とポートが一致していることを確認してください。サーバーなしで本ガイドを試すには、QdrantClient(":memory:") を使用してください。Embedding エンドポイントが 401 invalid_api_key を返す
Embedding エンドポイントが 401 invalid_api_key を返す
SambaNova のキーがベース URL に対して正しくありません。お使いの SambaStack インスタンス用に発行されたキーを使用し、
SAMBANOVA_BASE_URL がそのインスタンスを指していて、末尾が /v1 であることを確認してください。/v1 がない場合、Embedding リクエストは 404 page not found を返します。E5-Mistral-7B-Instruct に対する 404 model_not_found
E5-Mistral-7B-Instruct に対する 404 model_not_found
呼び出しているインスタンスが同モデルをサービングしていないか、キーにアクセス権がありません。インスタンスがサービングしているモデルの一覧を確認してください。SambaCloud は Embedding を提供していません。本ページ冒頭の SambaCloud に関する注記をご参照ください。
Qdrant のサーバーサイド推論に SambaNova のモデルが見つからない
Qdrant のサーバーサイド推論に SambaNova のモデルが見つからない
これは想定どおりの動作です。Qdrant が Embedding を生成できるのは、Cloud Inference のモデルと、OpenAI、Cohere、Jina AI、OpenRouter の各プロバイダーに限られます。上記のとおり、
size を指定してコレクションを作成し、自分で生成したベクトルをアップサートしてください。
