> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sambanova.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# LM Evaluation Harness

[Language Model Evaluation Harness](https://github.com/EleutherAI/lm-evaluation-harness) は、[EleutherAI](https://www.eleuther.ai/) が開発した統一的な評価フレームワークで、幅広い評価タスクで生成系言語モデルをテストできます。

## 特徴

* LLM 向けの標準的な学術ベンチマークを 60 種以上サポートし、数百のサブタスクとバリアントを実装
* 商用 API と互換
* ローカルモデルやカスタムベンチマークもサポート
* 公開されているプロンプトを使用し、論文間での再現性と比較可能性を担保
* 独自のプロンプトや評価指標を簡単に統合可能

## 前提条件

* Python 3.9 以上
* [Git](https://git-scm.com/)

## セットアップ

<Steps>
  <Step title="SambaCloud アカウントの作成">
    [SambaCloud](https://cloud.sambanova.ai/?utm_source=lmevaluationharness\&utm_medium=external\&utm_campaign=cloud_signup) のアカウントを作成し、[API キー](https://cloud.sambanova.ai/apis?utm_source=lmevaluationharness\&utm_medium=external\&utm_campaign=cloud_signup) を取得します。
  </Step>

  <Step title="リポジトリのクローン">
    ```bash theme={}
    git clone https://github.com/EleutherAI/lm-evaluation-harness.git
    cd lm-evaluation-harness
    ```
  </Step>

  <Step title="仮想環境の作成と有効化">
    ```bash theme={}
    python -m venv .venv
    source .venv/bin/activate
    ```
  </Step>

  <Step title="依存パッケージのインストール">
    ```bash theme={}
    pip install -e .
    pip install -e ."[api]"
    pip install tqdm
    ```

    <Note>
      選択するベンチマークやタスクによっては、追加の Python パッケージが必要となる場合があります。ライブラリの不足に関するエラーが発生した場合は、手動でインストールしてください。
    </Note>
  </Step>

  <Step title="API キーの設定">
    ```bash theme={}
    export SAMBANOVA_API_KEY="your-sambanova-api-key"
    ```
  </Step>
</Steps>

## 使用例

* ベンチマークの例: GSM8K (小学校レベルの算数問題)
* モデル提供元: SambaCloud

SambaCloud のモデルに対して評価を実行します。

```bash theme={}
lm_eval \
  --model openai-chat-completions \
  --model_args model=Meta-Llama-3.3-70B-Instruct,base_url=https://api.sambanova.ai/v1,token="$SAMBANOVA_API_KEY" \
  --tasks gsm8k \
  --num_fewshot 5 \
  --limit 100
```

この例では、標準的なプロンプト形式と評価指標を用いて、reasoning 能力と計算能力を評価します。`Meta-Llama-3.3-70B-Instruct` は、[SambaCloud モデル](/docs/ja/models/sambacloud-models) ページに記載の任意のモデル ID に置き換えられます。

### 参考情報

* [クイックスタートノートブック](https://github.com/sambanova/integrations/blob/main/lm_eval_harness/quickstart_eval.ipynb)
* [連携用ディレクトリ](https://github.com/sambanova/integrations/tree/main/lm_eval_harness)

## トラブルシューティング

<AccordionGroup>
  <Accordion title="認証エラー、または SAMBANOVA_API_KEY が認識されない">
    現在のシェルで変数がエクスポートされていることを確認します。

    ```bash theme={}
    echo $SAMBANOVA_API_KEY
    ```

    空の場合は再度エクスポートします: `export SAMBANOVA_API_KEY="your-api-key"`。キーが有効であることは、[SambaCloud ポータル](https://cloud.sambanova.ai/apis?utm_source=lmevaluationharness\&utm_medium=external\&utm_campaign=cloud_signup) で確認してください。
  </Accordion>

  <Accordion title="Task not found">
    利用可能なタスク名を確認します。

    ```bash theme={}
    lm_eval --tasks list
    ```

    `[api]` の追加依存パッケージをインストール済みであることを確認してください: `pip install -e ."[api]"`
  </Accordion>

  <Accordion title="評価中にライブラリ不足のエラーが発生する">
    一部のベンチマークでは追加のパッケージが必要です。エラーに表示されたパッケージをインストールしてください。例:

    ```bash theme={}
    pip install sqlitedict pytablewriter
    ```
  </Accordion>
</AccordionGroup>