OpenAIEmbeddingFunction が api_base を受け付けるため、Chroma はドキュメントとクエリの埋め込みを SambaStack の Embedding (埋め込み) モデルで行えます。その後、SambaNova のチャットモデルで質問に回答します。
前提条件
E5-Mistral-7B-Instructをサービングしている SambaStack インスタンスと、そのインスタンスのベース URL および API キー。API キーと URL をご参照ください。- 同インスタンス上のチャットモデル。本ガイドでは
gpt-oss-120bを使用します。 - Python 3.10 以上。
インストールとセットアップ
1
仮想環境の作成
2
依存パッケージのインストール
chromadb 1.5.9 と openai 3.35.1 で動作確認済みです。3
SambaStack のベース URL と API キーの設定
ベース URL は、末尾が
/v1 である必要があります。Embedding の生成、保存、クエリ
このセクションのステップは、1 つの Python ファイルまたはセッション内で実行してください。各ステップでは、前のステップで定義した変数を使用します。1
SambaNova で埋め込みを行うコレクションの作成
Chroma の
OpenAIEmbeddingFunction に api_base と api_key_env_var を渡します。api_key_env_var を指定すると、Chroma はデフォルトの CHROMA_OPENAI_API_KEY ではなく SambaNova のキーを読み取ります。api_type は設定しないでください。Chroma 自身の例では Azure OpenAI 向けに azure を設定していますが、ここでは不要です。PersistentClient は、コレクションを ./chroma-data に保存します。すべてをメモリ内に保持する場合は、代わりに chromadb.EphemeralClient() を使用してください。Chroma のデフォルトは L2 距離の二乗であるため、configuration 引数でコサイン距離を設定しています。テキストの Embedding では、コサイン距離が一般的な選択です。2
ドキュメントの追加
Embedding 関数は Chroma が呼び出すため、渡すのはテキストだけで、ベクトルを直接扱う必要はありません。
3
コレクションのクエリ
doc1 で、コサイン距離は約 0.24 です。次に近いものは約 0.36 です。E5-Mistral-7B-Instruct はインストラクションチューニング済み (instruction-tuned) のモデルです。Chroma は query_texts をプレーンテキストとして埋め込みますが、この例ではそれでも正しいパッセージが最初にランクされます。クエリをインストラクション形式で整形するには、自分で埋め込みを行い、代わりにベクトルを渡します。4
SambaNova チャットモデルでの回答生成
検索で取得したパッセージを、コンテキストとしてチャットモデルに渡します。
question は、ステップ 3 の検索で使用したものと同じ質問です。モデルは、SambaNova が SN40L チップを製造していると回答します。5
使い終わったコレクションの削除
./chroma-data フォルダを削除してください。LangChain での Chroma の利用
langchain-chroma パッケージは、同じデータベースをラップします。OpenAI Embedding 連携とあわせてインストールします。
langchain-chroma 1.1.0 と langchain-openai 1.7.2 で動作確認済みです。
check_embedding_ctx_length=False を設定してください。設定しない場合、LangChain はテキストではなくトークン ID を送信し、SambaStack の Embedding エンドポイントはこれを拒否します。
Chroma.from_texts に persist_directory="./chroma-data" を渡してください。
参考情報
Chroma ドキュメント
コレクション、クエリ、サーバーとしての Chroma の実行を扱う公式ガイドです。
Chroma の OpenAI Embedding 関数
OpenAIEmbeddingFunction とそのパラメータのリファレンスです。LangChain の Chroma 連携
langchain-chroma ベクトルストアのリファレンスです。Embedding (埋め込み) 機能の実装
SambaStack で SambaNova の Embedding モデルを利用する方法です。
トラブルシューティング
The SAMBANOVA_API_KEY environment variable is not set
The SAMBANOVA_API_KEY environment variable is not set
api_key_env_var で指定した環境変数が未設定の場合、Chroma は ValueError: The SAMBANOVA_API_KEY environment variable is not set. を送出します。Python を実行するシェルで、この変数をエクスポートしてください。api_key_env_var を省略した場合、Chroma は代わりに CHROMA_OPENAI_API_KEY を探します。Embedding エンドポイントが 404 page not found を返す
Embedding エンドポイントが 404 page not found を返す
ベース URL に
/v1 がありません。SAMBANOVA_BASE_URL には、SambaStack のベース URL の末尾に /v1 を付けた値を設定してください。Embedding エンドポイントが 401 invalid_api_key を返す
Embedding エンドポイントが 401 invalid_api_key を返す
キーがベース URL と一致していません。お使いの SambaStack インスタンス用に発行されたキーを使用してください。
text-embedding-ada-002 に対する 404 model_not_found
text-embedding-ada-002 に対する 404 model_not_found
model_name を設定していないため、Chroma がデフォルトモデルの text-embedding-ada-002 をリクエストしています。model_name="E5-Mistral-7B-Instruct" を設定してください。エラーに E5-Mistral-7B-Instruct が表示される場合は、お使いの SambaStack インスタンスが同モデルをサービングしていないか、キーにアクセス権がありません。インスタンスがサービングしているモデルの一覧は、curl -H "Authorization: Bearer $SAMBANOVA_API_KEY" "$SAMBANOVA_BASE_URL/models" で確認できます。400 Invalid type for 'input': expected string, got array
400 Invalid type for 'input': expected string, got array
このエラーは LangChain の例で発生します。上記のとおり、
OpenAIEmbeddings に check_embedding_ctx_length=False を渡してください。
