メインコンテンツへスキップ
Weaviate は、ベクトル化と生成をデータベースモジュールとして実行するオープンソースのベクトル DB です。アプリケーションコードはテキストを送るだけで、残りの処理は Weaviate が行います。text2vec-openai モジュールと generative-openai モジュールは baseURL を受け付けます。これは、任意の OpenAI 互換エンドポイントに接続するための、公式ドキュメントに記載された方法です。両モジュールの接続先を SambaStack インスタンスに向けることで、Weaviate によるデータの埋め込みと質問への回答を、SambaNova のモデルで行えます。
Embedding は SambaStack のみで提供されています。E5-Mistral-7B-Instruct は SambaCloud では利用できません。Embedding (埋め込み) 機能の実装 をご参照ください。SambaCloud でも、自分で用意したベクトルと SambaNova のチャットモデルを組み合わせて Weaviate を利用できます。SambaCloud での Weaviate の利用 をご参照ください。

前提条件

  • E5-Mistral-7B-Instruct をサービングしている SambaStack インスタンスと、そのインスタンスのベース URL および API キー。API キーと URL をご参照ください。
  • 同インスタンス上のチャットモデル。本ガイドでは gpt-oss-120b を使用します。
  • 稼働中の Weaviate サーバー、または Weaviate Cloud のクラスター。ローカルで実行する場合は、Weaviate の Docker インストールガイド に従ってください。
  • Weaviate サーバーから SambaStack インスタンスへのネットワークアクセス。SambaStack を呼び出すのは Python コードではなく Weaviate サーバーであるため、Weaviate Cloud のクラスターからプライベートネットワーク上の SambaStack インスタンスには到達できません。
  • Python 3.10 以上。
macOS には Python 3.9 が同梱されており、python ではなく python3 として提供されます。python3 --version でバージョンを確認してください。3.10 未満の場合は、続行する前に pyenv、uv、または brew install python@3.12 で対応バージョンをインストールしてください。
お使いの Weaviate サーバーで、text2vec-openai モジュールと generative-openai モジュールが有効になっている必要があります。Weaviate Cloud では、デフォルトで有効です。セルフホストのサーバーでは、/v1/meta を開き、modules の下に両方が表示されることを確認してください。表示されない場合は、Weaviate の モジュール設定ガイド の説明に従って、環境変数 ENABLE_MODULES で有効化してください。

インストールとセットアップ

1

仮想環境の作成

2

依存パッケージのインストール

本ガイドは weaviate-client 4.24.1 と Weaviate 1.40.1 で動作確認済みです。
3

SambaStack のベース URL と API キーの設定

ここでは、ベース URL に /v1 を付けないでください。Weaviate 自身が /v1/embeddings と /v1/chat/completions を付加するため、末尾がすでに /v1 になっているベース URL では 404 が発生します。

モジュールの設定とクエリ

このセクションのステップは、1 つの Python ファイルまたはセッション内で実行してください。各ステップでは、前のステップで定義した変数を使用します。
1

Weaviate への接続

Weaviate は、X-OpenAI-Api-Key ヘッダーで SambaNova のキーをモジュールに渡します。
connect_to_local は、localhost 上のサーバーに接続します。Weaviate Cloud の場合は、WEAVIATE_URL にクラスターの URL を、WEAVIATE_API_KEY にクラスターの API キーを設定し、同じ headers を指定して connect_to_weaviate_cloud で接続します。
2

SambaNova を使用するコレクションの作成

両方のモジュールに base_url を設定し、SambaNova のモデル名を指定します。ベクトルのサイズは Weaviate がモデルから読み取るため、次元数の設定は不要です。
SambaNovaDemo コレクションがすでに存在する場合、このコードは先にそれを削除するため、毎回クリーンなコレクションから実行を開始できます。text2vec_openai が Embedding を、Generative.openai がチャット補完を担当します。SambaNova を呼び出すのは Weaviate サーバー側であるため、SambaStack インスタンスには Weaviate の実行場所から到達できる必要があります。
3

ドキュメントの追加

Weaviate は、挿入された各オブジェクトをその場で埋め込みます。渡すのはテキストだけで、ベクトルを直接扱う必要はありません。
4

意味による検索

距離が小さいほど、近い一致です。最も近い一致は SN40L チップに関するパッセージで、コサイン距離は約 0.33 です。次に近いものは約 0.43 です。
5

SambaNova チャットモデルでの回答生成

Weaviate は、最も近いオブジェクトを取得し、1 回の呼び出しで生成モジュールに渡します。
モデルは、SambaNova が SN40L チップを製造していると回答します。
6

コレクションの削除と接続のクローズ

SambaCloud での Weaviate の利用

SambaCloud は Embedding を提供していないため、テキストはローカルモデルで自分で埋め込み、回答の生成のみ Weaviate の生成モジュールから SambaCloud を呼び出します。FastEmbed をインストールし、SAMBANOVA_BASE_URL を https://api.sambanova.ai に設定してください。

参考情報

Weaviate ドキュメント

コレクション、検索、デプロイを扱う公式ガイドです。

Weaviate の OpenAI Embedding

text2vec-openai モジュールとそのパラメータのリファレンスです。

Weaviate の OpenAI 生成 AI

generative-openai モジュールとそのパラメータのリファレンスです。

Embedding (埋め込み) 機能の実装

SambaStack で SambaNova の Embedding モデルを利用する方法です。

トラブルシューティング

環境変数が、Python を実行するシェルに設定されていません。エラーには、SAMBANOVA_BASE_URL や SAMBANOVA_API_KEY など、不足している変数名が表示されます。インストールとセットアップ のとおり設定し、同じシェルからコードを再実行してください。Weaviate Cloud の場合は、WEAVIATE_URL と WEAVIATE_API_KEY も設定してください。
ベース URL の末尾が /v1 になっています。Weaviate はベース URL に /v1/embeddings を付加するため、結果として /v1/v1/embeddings を呼び出すことになります。base_url には /v1 を付けない SambaStack のベース URL を設定し、コレクションを作成し直してください。
接続に、モジュールへ渡すキーがありません。connect_to_local または connect_to_weaviate_cloud に headers={"X-OpenAI-Api-Key": ...} を渡し、Python を実行するシェルで SAMBANOVA_API_KEY がエクスポートされていることを確認してください。
キーがベース URL と一致していません。お使いの SambaStack インスタンス用に発行されたキーを使用してください。
コレクションで指定したモデルをインスタンスがサービングしていないか、キーにアクセス権がありません。インスタンスがサービングしているモデルの一覧を確認してください。
SambaCloud は Embedding を提供していません。SambaCloud での Weaviate の利用 をご参照ください。
上記のコードは、既存の SambaNovaDemo コレクションを先に削除します。このチェックを削除した場合は、client.collections.delete("SambaNovaDemo") で削除してください。