メインコンテンツへスキップ
Ragas は、RAG パイプラインを評価するための評価指標ライブラリです。応答のスコアリングの中核はジャッジ (judge) モデルの呼び出しであるため、ジャッジが速ければ、あらゆる評価の実行がそのまま速くなります。

前提条件

セットアップ

1

Ragas のインストール

Ragas 0.4.3 は、新しいリリースでは削除された langchain-community のモジュールをインポートするため、2 つ目のコマンドでこのパッケージのバージョンを固定します。pip が langchain-core をダウングレードしないよう、--no-deps は外さないでください。この後 pip check は、langchain-community が dataclasses-json を必要としていると報告しますが、Ragas の動作には影響しないため、この警告は無視してかまいません。
2

SambaCloud API キーのエクスポート

3

ジャッジモデルの接続先を SambaCloud に設定

Ragas の llm_factory は、カスタムの base_url を設定したものを含め、任意の OpenAI クライアントインスタンスを受け付けます。

評価指標

Ragas は、LLM がジャッジする評価指標を、出力の形によって 3 つに分類しています。以下の各例では、セットアップで作成した llm を使用します。

Discrete: correct / incorrect の判定

ジャッジが正答と誤答を見分けられることを確認するため、正しい回答と誤った回答の両方をスコアリングします。
Output

Numeric: 連続スケールのスコア

Output

Ranking: 複数の候補応答の順位付け

Output

データセットと実験

Ragas の Dataset と @experiment を使うと、評価指標を 1 例ずつ呼び出す代わりに、一連の入力をまとめてシステムに流し、すべての結果をスコアリングする処理を再現可能な形で実行できます。この例では、セットアップの client と llm、および Discrete の例の metric を使用します。
Output
各行ごとに、SambaCloud のチャット補完 1 回と DiscreteMetric のジャッジ呼び出し 1 回が実行されます。dataset.save() は ragas_data/datasets/capitals.csv を書き出し、arun() はスコア付きの結果を ragas_data/experiments/ 配下のランダムに生成された名前の CSV に書き出すため、後から実験の実行同士を比較できます。

対象外: 合成テストデータの生成

Ragas の RAG テストセット生成 (TestsetGenerator) は、ナレッジグラフを介して、手持ちのドキュメントから合成のクエリと参照回答を構築します。上のすべての例と異なり、この機能には LLM と Embedding (埋め込み) モデルの両方が必要です。
SambaCloud には Embedding モデルがないため、この機能を SambaCloud だけで実行することはできません。E5-Mistral-7B-Instruct などの Embedding モデルは SambaStack で利用できます。Embeddings をご参照ください。合成テストデータの生成が必要な場合は、この機能に限り SambaStack インスタンスの Embedding モデルを SambaCloud または SambaStack の LLM と組み合わせ、本ページの他の内容には SambaCloud を使用してください。

トラブルシューティング

セットアップ にあるバージョン固定付きの langchain-community のインストールを飛ばしています。pip install "langchain-community==0.3.30" --no-deps を実行してください。
実行前にキーをエクスポートしてください: export SAMBANOVA_API_KEY="your-key"。echo $SAMBANOVA_API_KEY で確認できます。
本番の評価で信頼する前に、上の Discrete の例のように、正しい応答と意図的に誤らせた応答の両方を評価指標に対してテストしてください。両者を区別できないジャッジは、どんなスコアを返していても、有用なシグナルを提供していません。
これは想定どおりの動作です。合成テストデータの生成には Embedding モデルが必要ですが、SambaCloud では提供されていません。上の 対象外 を参照し、この機能に限り SambaStack インスタンスの Embedding モデルを使用してください。

参考情報