メインコンテンツへスキップ
Chroma は、Python プロセス内またはサーバーとして動作するオープンソースのベクトル DB です。OpenAIEmbeddingFunction が api_base を受け付けるため、Chroma はドキュメントとクエリの埋め込みを SambaStack の Embedding (埋め込み) モデルで行えます。その後、SambaNova のチャットモデルで質問に回答します。
Embedding は SambaStack のみで提供されています。E5-Mistral-7B-Instruct は SambaCloud では利用できません。Embedding (埋め込み) 機能の実装 をご参照ください。SambaCloud でも Chroma 自体は利用できます。SAMBANOVA_BASE_URL を https://api.sambanova.ai/v1 に設定し、embedding_function を指定せずに Chroma 組み込みのローカルモデルで埋め込みを行うようにして、ステップ 3 のインストラクション形式の例はスキップしてください。その後は、ステップ 4 のとおり SambaNova のチャットモデルで回答を生成します。LangChain のセクションには SambaStack が必要です。

前提条件

  • E5-Mistral-7B-Instruct をサービングしている SambaStack インスタンスと、そのインスタンスのベース URL および API キー。API キーと URL をご参照ください。
  • 同インスタンス上のチャットモデル。本ガイドでは gpt-oss-120b を使用します。
  • Python 3.10 以上。
macOS には Python 3.9 が同梱されており、python ではなく python3 として提供されます。python3 --version でバージョンを確認してください。3.10 未満の場合は、続行する前に pyenv、uv、または brew install python@3.12 で対応バージョンをインストールしてください。

インストールとセットアップ

1

仮想環境の作成

2

依存パッケージのインストール

本ガイドは chromadb 1.5.9 と openai 3.35.1 で動作確認済みです。
3

SambaStack のベース URL と API キーの設定

ベース URL は、末尾が /v1 である必要があります。

Embedding の生成、保存、クエリ

このセクションのステップは、1 つの Python ファイルまたはセッション内で実行してください。各ステップでは、前のステップで定義した変数を使用します。
1

SambaNova で埋め込みを行うコレクションの作成

Chroma の OpenAIEmbeddingFunction に api_base と api_key_env_var を渡します。api_key_env_var を指定すると、Chroma はデフォルトの CHROMA_OPENAI_API_KEY ではなく SambaNova のキーを読み取ります。api_type は設定しないでください。Chroma 自身の例では Azure OpenAI 向けに azure を設定していますが、ここでは不要です。
PersistentClient は、コレクションを ./chroma-data に保存します。すべてをメモリ内に保持する場合は、代わりに chromadb.EphemeralClient() を使用してください。Chroma のデフォルトは L2 距離の二乗であるため、configuration 引数でコサイン距離を設定しています。テキストの Embedding では、コサイン距離が一般的な選択です。
2

ドキュメントの追加

Embedding 関数は Chroma が呼び出すため、渡すのはテキストだけで、ベクトルを直接扱う必要はありません。
3

コレクションのクエリ

距離が小さいほど、近い一致です。最も近いのは SN40L チップに関するパッセージである doc1 で、コサイン距離は約 0.24 です。次に近いものは約 0.36 です。E5-Mistral-7B-Instruct はインストラクションチューニング済み (instruction-tuned) のモデルです。Chroma は query_texts をプレーンテキストとして埋め込みますが、この例ではそれでも正しいパッセージが最初にランクされます。クエリをインストラクション形式で整形するには、自分で埋め込みを行い、代わりにベクトルを渡します。
4

SambaNova チャットモデルでの回答生成

検索で取得したパッセージを、コンテキストとしてチャットモデルに渡します。
question は、ステップ 3 の検索で使用したものと同じ質問です。モデルは、SambaNova が SN40L チップを製造していると回答します。
5

使い終わったコレクションの削除

これでコレクションが削除されます。保存されたデータも削除するには、./chroma-data フォルダを削除してください。

LangChain での Chroma の利用

langchain-chroma パッケージは、同じデータベースをラップします。OpenAI Embedding 連携とあわせてインストールします。
本ガイドは langchain-chroma 1.1.0 と langchain-openai 1.7.2 で動作確認済みです。 check_embedding_ctx_length=False を設定してください。設定しない場合、LangChain はテキストではなくトークン ID を送信し、SambaStack の Embedding エンドポイントはこれを拒否します。
スコアは、直接利用の例と同じコサイン距離です。永続化ストアにするには、Chroma.from_texts に persist_directory="./chroma-data" を渡してください。

参考情報

Chroma ドキュメント

コレクション、クエリ、サーバーとしての Chroma の実行を扱う公式ガイドです。

Chroma の OpenAI Embedding 関数

OpenAIEmbeddingFunction とそのパラメータのリファレンスです。

LangChain の Chroma 連携

langchain-chroma ベクトルストアのリファレンスです。

Embedding (埋め込み) 機能の実装

SambaStack で SambaNova の Embedding モデルを利用する方法です。

トラブルシューティング

api_key_env_var で指定した環境変数が未設定の場合、Chroma は ValueError: The SAMBANOVA_API_KEY environment variable is not set. を送出します。Python を実行するシェルで、この変数をエクスポートしてください。api_key_env_var を省略した場合、Chroma は代わりに CHROMA_OPENAI_API_KEY を探します。
ベース URL に /v1 がありません。SAMBANOVA_BASE_URL には、SambaStack のベース URL の末尾に /v1 を付けた値を設定してください。
キーがベース URL と一致していません。お使いの SambaStack インスタンス用に発行されたキーを使用してください。
model_name を設定していないため、Chroma がデフォルトモデルの text-embedding-ada-002 をリクエストしています。model_name="E5-Mistral-7B-Instruct" を設定してください。エラーに E5-Mistral-7B-Instruct が表示される場合は、お使いの SambaStack インスタンスが同モデルをサービングしていないか、キーにアクセス権がありません。インスタンスがサービングしているモデルの一覧は、curl -H "Authorization: Bearer $SAMBANOVA_API_KEY" "$SAMBANOVA_BASE_URL/models" で確認できます。
このエラーは LangChain の例で発生します。上記のとおり、OpenAIEmbeddings に check_embedding_ctx_length=False を渡してください。