text2vec-openai モジュールと generative-openai モジュールは baseURL を受け付けます。これは、任意の OpenAI 互換エンドポイントに接続するための、公式ドキュメントに記載された方法です。両モジュールの接続先を SambaStack インスタンスに向けることで、Weaviate によるデータの埋め込みと質問への回答を、SambaNova のモデルで行えます。
前提条件
E5-Mistral-7B-Instructをサービングしている SambaStack インスタンスと、そのインスタンスのベース URL および API キー。API キーと URL をご参照ください。- 同インスタンス上のチャットモデル。本ガイドでは
gpt-oss-120bを使用します。 - 稼働中の Weaviate サーバー、または Weaviate Cloud のクラスター。ローカルで実行する場合は、Weaviate の Docker インストールガイド に従ってください。
- Weaviate サーバーから SambaStack インスタンスへのネットワークアクセス。SambaStack を呼び出すのは Python コードではなく Weaviate サーバーであるため、Weaviate Cloud のクラスターからプライベートネットワーク上の SambaStack インスタンスには到達できません。
- Python 3.10 以上。
text2vec-openai モジュールと generative-openai モジュールが有効になっている必要があります。Weaviate Cloud では、デフォルトで有効です。セルフホストのサーバーでは、/v1/meta を開き、modules の下に両方が表示されることを確認してください。表示されない場合は、Weaviate の モジュール設定ガイド の説明に従って、環境変数 ENABLE_MODULES で有効化してください。
インストールとセットアップ
1
仮想環境の作成
2
依存パッケージのインストール
weaviate-client 4.24.1 と Weaviate 1.40.1 で動作確認済みです。3
SambaStack のベース URL と API キーの設定
ここでは、ベース URL に
/v1 を付けないでください。Weaviate 自身が /v1/embeddings と /v1/chat/completions を付加するため、末尾がすでに /v1 になっているベース URL では 404 が発生します。モジュールの設定とクエリ
このセクションのステップは、1 つの Python ファイルまたはセッション内で実行してください。各ステップでは、前のステップで定義した変数を使用します。1
Weaviate への接続
Weaviate は、
X-OpenAI-Api-Key ヘッダーで SambaNova のキーをモジュールに渡します。connect_to_local は、localhost 上のサーバーに接続します。Weaviate Cloud の場合は、WEAVIATE_URL にクラスターの URL を、WEAVIATE_API_KEY にクラスターの API キーを設定し、同じ headers を指定して connect_to_weaviate_cloud で接続します。2
SambaNova を使用するコレクションの作成
両方のモジュールに
base_url を設定し、SambaNova のモデル名を指定します。ベクトルのサイズは Weaviate がモデルから読み取るため、次元数の設定は不要です。SambaNovaDemo コレクションがすでに存在する場合、このコードは先にそれを削除するため、毎回クリーンなコレクションから実行を開始できます。text2vec_openai が Embedding を、Generative.openai がチャット補完を担当します。SambaNova を呼び出すのは Weaviate サーバー側であるため、SambaStack インスタンスには Weaviate の実行場所から到達できる必要があります。3
ドキュメントの追加
Weaviate は、挿入された各オブジェクトをその場で埋め込みます。渡すのはテキストだけで、ベクトルを直接扱う必要はありません。
4
意味による検索
5
SambaNova チャットモデルでの回答生成
Weaviate は、最も近いオブジェクトを取得し、1 回の呼び出しで生成モジュールに渡します。モデルは、SambaNova が SN40L チップを製造していると回答します。
6
コレクションの削除と接続のクローズ
SambaCloud での Weaviate の利用
SambaCloud は Embedding を提供していないため、テキストはローカルモデルで自分で埋め込み、回答の生成のみ Weaviate の生成モジュールから SambaCloud を呼び出します。FastEmbed をインストールし、SAMBANOVA_BASE_URL を https://api.sambanova.ai に設定してください。
参考情報
Weaviate ドキュメント
コレクション、検索、デプロイを扱う公式ガイドです。
Weaviate の OpenAI Embedding
text2vec-openai モジュールとそのパラメータのリファレンスです。Weaviate の OpenAI 生成 AI
generative-openai モジュールとそのパラメータのリファレンスです。Embedding (埋め込み) 機能の実装
SambaStack で SambaNova の Embedding モデルを利用する方法です。
トラブルシューティング
KeyError: 'SAMBANOVA_BASE_URL'
KeyError: 'SAMBANOVA_BASE_URL'
環境変数が、Python を実行するシェルに設定されていません。エラーには、
SAMBANOVA_BASE_URL や SAMBANOVA_API_KEY など、不足している変数名が表示されます。インストールとセットアップ のとおり設定し、同じシェルからコードを再実行してください。Weaviate Cloud の場合は、WEAVIATE_URL と WEAVIATE_API_KEY も設定してください。failed to parse vectorization response (status 404)
failed to parse vectorization response (status 404)
ベース URL の末尾が
/v1 になっています。Weaviate はベース URL に /v1/embeddings を付加するため、結果として /v1/v1/embeddings を呼び出すことになります。base_url には /v1 を付けない SambaStack のベース URL を設定し、コレクションを作成し直してください。API Key: no api key found neither in request header: X-Openai-Api-Key
API Key: no api key found neither in request header: X-Openai-Api-Key
接続に、モジュールへ渡すキーがありません。
connect_to_local または connect_to_weaviate_cloud に headers={"X-OpenAI-Api-Key": ...} を渡し、Python を実行するシェルで SAMBANOVA_API_KEY がエクスポートされていることを確認してください。connection to: OpenAI API failed with status: 401
connection to: OpenAI API failed with status: 401
キーがベース URL と一致していません。お使いの SambaStack インスタンス用に発行されたキーを使用してください。
connection to: OpenAI API failed with status: 404 ... model does not exist
connection to: OpenAI API failed with status: 404 ... model does not exist
コレクションで指定したモデルをインスタンスがサービングしていないか、キーにアクセス権がありません。インスタンスがサービングしているモデルの一覧を確認してください。SambaCloud は Embedding を提供していません。SambaCloud での Weaviate の利用 をご参照ください。
422: class name SambaNovaDemo already exists
422: class name SambaNovaDemo already exists
上記のコードは、既存の
SambaNovaDemo コレクションを先に削除します。このチェックを削除した場合は、client.collections.delete("SambaNovaDemo") で削除してください。
