LM Evaluation Harness

Language Model Evaluation Harness は、EleutherAI が開発した統一的な評価フレームワークで、幅広い評価タスクで生成系言語モデルをテストできます。

特徴

LLM 向けの標準的な学術ベンチマークを 60 種以上サポートし、数百のサブタスクとバリアントを実装
商用 API と互換
ローカルモデルやカスタムベンチマークもサポート
公開されているプロンプトを使用し、論文間での再現性と比較可能性を担保
独自のプロンプトや評価指標を簡単に統合可能

前提条件

Python 3.9 以上
Git

セットアップ

SambaCloud アカウントの作成

SambaCloud のアカウントを作成し、API キーを取得します。

リポジトリのクローン

git clone https://github.com/EleutherAI/lm-evaluation-harness.git
cd lm-evaluation-harness

仮想環境の作成と有効化

python -m venv .venv
source .venv/bin/activate

依存パッケージのインストール

pip install -e .
pip install -e ."[api]"
pip install tqdm

選択するベンチマークやタスクによっては、追加の Python パッケージが必要となる場合があります。ライブラリの不足に関するエラーが発生した場合は、手動でインストールしてください。

API キーの設定

export SAMBANOVA_API_KEY="your-sambanova-api-key"

使用例

ベンチマークの例: GSM8K (小学校レベルの算数問題)
モデル提供元: SambaCloud

SambaCloud のモデルに対して評価を実行します。

lm_eval \
  --model openai-chat-completions \
  --model_args model=Meta-Llama-3.3-70B-Instruct,base_url=https://api.sambanova.ai/v1,token="$SAMBANOVA_API_KEY" \
  --tasks gsm8k \
  --num_fewshot 5 \
  --limit 100

この例では、標準的なプロンプト形式と評価指標を用いて、reasoning 能力と計算能力を評価します。Meta-Llama-3.3-70B-Instruct は、SambaCloud モデルページに記載の任意のモデル ID に置き換えられます。

参考情報

トラブルシューティング

認証エラー、または SAMBANOVA_API_KEY が認識されない

現在のシェルで変数がエクスポートされていることを確認します。

echo $SAMBANOVA_API_KEY

空の場合は再度エクスポートします: export SAMBANOVA_API_KEY="your-api-key"。キーが有効であることは、SambaCloud ポータルで確認してください。

Task not found

利用可能なタスク名を確認します。

lm_eval --tasks list

[api] の追加依存パッケージをインストール済みであることを確認してください: pip install -e ."[api]"

評価中にライブラリ不足のエラーが発生する

一部のベンチマークでは追加のパッケージが必要です。エラーに表示されたパッケージをインストールしてください。例:

pip install sqlitedict pytablewriter

概要

開発者ツール

フレームワーク

インターフェースとローコード

データとインフラ

マルチモーダル

評価とモニタリング

特徴

前提条件

セットアップ

使用例

参考情報

トラブルシューティング

​特徴

​前提条件

​セットアップ

​使用例

​参考情報

​トラブルシューティング

特徴

前提条件

セットアップ

使用例

参考情報

トラブルシューティング