メインコンテンツへスキップ
Qdrant は、オープンソースのベクトル DB です。SambaStack の Embedding (埋め込み) モデルで Embedding を生成し、ベクトルを Qdrant のコレクションに保存して、SambaNova のチャットモデルで質問に回答することで、SambaNova と組み合わせて利用できます。
Embedding は SambaStack のみで提供されています。E5-Mistral-7B-Instruct は SambaCloud では利用できません。Embedding (埋め込み) 機能の実装 をご参照ください。SambaCloud でも Qdrant 自体は利用できます。SAMBANOVA_BASE_URL を https://api.sambanova.ai/v1 に設定し、pip install "qdrant-client[fastembed]" で FastEmbed をインストールして、ステップ 1 の embed 関数を、ローカルで埋め込みを行う次の関数に置き換えてください。
本ガイドの残りの部分は、そのまま動作します。

Qdrant での SambaNova の使われ方

Qdrant には Embedding を代わりに生成する機能がありますが、対象は Qdrant が把握しているモデルに限られます。Qdrant Cloud Inference は Qdrant 自身がホストするモデルを提供し、外部プロバイダー は OpenAI、Cohere、Jina AI、OpenRouter に限られます。どちらも Qdrant Cloud 経由で利用するもので、カスタムのベース URL を設定する手段はないため、Qdrant が SambaNova のエンドポイントを代わりに呼び出すことはできません。 Qdrant の 推論オプション には、独自の推論サービスを運用するチーム向けの代替手段として、クライアントサイド推論が示されています。テキストを自分で埋め込み、そのベクトルを保存・クエリする方式です。本ガイドはこの方式を採用しており、両方の呼び出しを行うのはお使いのコードです。SambaStack でテキストを埋め込み、そのベクトルを Qdrant に送信します。

前提条件

  • E5-Mistral-7B-Instruct をサービングしている SambaStack インスタンスと、そのインスタンスのベース URL および API キー。API キーと URL をご参照ください。
  • 同インスタンス上のチャットモデル。本ガイドでは gpt-oss-120b を使用します。
  • 稼働中の Qdrant サーバー、または Qdrant Cloud のクラスター。ローカルで実行する場合は、Qdrant クイックスタート に従ってください。サーバーなしで本ガイドを試すには、代わりに QdrantClient(":memory:") でクライアントを作成してください。
  • Python 3.10 以上。
macOS には Python 3.9 が同梱されており、python ではなく python3 として提供されます。python3 --version でバージョンを確認してください。3.10 未満の場合は、続行する前に pyenv、uv、または brew install python@3.12 で対応バージョンをインストールしてください。

インストールとセットアップ

1

仮想環境の作成

2

依存パッケージのインストール

本ガイドは qdrant-client 1.20.0、openai 3.40.0、Qdrant サーバー 1.20.0 で動作確認済みです。
3

SambaStack のベース URL、API キー、Qdrant URL の設定

SambaStack のベース URL は、末尾が /v1 である必要があります。以下の Qdrant URL は、ローカルサーバーのデフォルト値です。Qdrant Cloud の場合は、QDRANT_URL にクラスターの URL を設定し、あわせて QDRANT_API_KEY にクラスターの API キーを設定してください。ローカルサーバーにキーは不要です。

Embedding の生成、保存、クエリ

このセクションのステップは、1 つの Python ファイルまたはセッション内で実行してください。各ステップでは、前のステップで定義した変数を使用します。
1

ドキュメントの埋め込み

OpenAI クライアントは、SambaStack の Embedding エンドポイントに対してそのまま機能します。E5-Mistral-7B-Instruct は 4096 次元のベクトルを返し、これが次のステップで作成する Qdrant コレクションのサイズになります。
2

コレクションの作成とベクトルのアップサート

コレクションの size には、直前に作成したベクトルの長さを設定します。ベクトルがこのサイズと一致しないアップサート (upsert) を、Qdrant は拒否します。ポイント ID には符号なし整数または UUID しか使えないため、テキストはペイロードに格納します。
upsert はデフォルトで書き込みの完了を待つため、戻った直後からクエリを実行できます。
3

コレクションのクエリ

E5-Mistral-7B-Instruct はインストラクションチューニング済み (instruction-tuned) のモデルであるため、各クエリは、インストラクションに続けて質問を書く形式にします。ドキュメント側は、プレーンテキストとして埋め込みます。
最も近い一致は SN40L チップに関するパッセージで、コサインスコアは約 0.71 です。次に近いものは約 0.47 です。値が大きいほど、近い一致です。
4

SambaNova チャットモデルでの回答生成

検索で取得したパッセージを、コンテキストとしてチャットモデルに渡します。
question は、ステップ 3 の検索で使用したものと同じ質問です。モデルは、SambaNova が SN40L チップを製造していると回答します。
5

使い終わったコレクションの削除

参考情報

Qdrant ドキュメント

コレクション、ポイント、検索、デプロイを扱う公式ガイドです。

Qdrant の推論オプション

Qdrant 向けに Embedding を生成する、サーバーサイドとクライアントサイドの方法です。

FastEmbed

Qdrant のローカル Embedding ライブラリです。上記の SambaCloud に関する注記で使用しています。

Embedding (埋め込み) 機能の実装

SambaStack で SambaNova の Embedding モデルを利用する方法です。

トラブルシューティング

セットアップのステップで設定する環境変数が、Python を実行するシェルに設定されていません。エラーには、QDRANT_URL、SAMBANOVA_BASE_URL、SAMBANOVA_API_KEY など、不足している変数名が表示されます。インストールとセットアップ のとおり設定し、同じシェルからコードを再実行してください。
コレクションが、アップサートしようとしているベクトルとは異なる size で作成されています。E5-Mistral-7B-Instruct は、入力 1 件につき 4096 個の値を返します。コレクションを削除して size=4096 で作成し直すか、上記のとおり返されたベクトルから長さを読み取ってください。
コレクションがすでに存在します。上記のコードは、コレクションが存在する場合は create_collection をスキップします。このチェックを削除した場合は、client.delete_collection("sambanova-demo") でコレクションを削除してください。
ポイント ID には、符号なし整数または UUID しか使えません。ID には数値または str(uuid.uuid4()) を使用し、独自のラベルはペイロードに保持してください。
QDRANT_URL で待ち受けている Qdrant サーバーがありません。Qdrant クイックスタート に従ってサーバーを起動し、URL とポートが一致していることを確認してください。サーバーなしで本ガイドを試すには、QdrantClient(":memory:") を使用してください。
SambaNova のキーがベース URL に対して正しくありません。お使いの SambaStack インスタンス用に発行されたキーを使用し、SAMBANOVA_BASE_URL がそのインスタンスを指していて、末尾が /v1 であることを確認してください。/v1 がない場合、Embedding リクエストは 404 page not found を返します。
呼び出しているインスタンスが同モデルをサービングしていないか、キーにアクセス権がありません。インスタンスがサービングしているモデルの一覧を確認してください。
SambaCloud は Embedding を提供していません。本ページ冒頭の SambaCloud に関する注記をご参照ください。
これは想定どおりの動作です。Qdrant が Embedding を生成できるのは、Cloud Inference のモデルと、OpenAI、Cohere、Jina AI、OpenRouter の各プロバイダーに限られます。上記のとおり、size を指定してコレクションを作成し、自分で生成したベクトルをアップサートしてください。