> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sambanova.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Inspect AI

[Inspect AI](https://inspect.aisi.org.uk/) は、[UK AI Security Institute](https://aisi.gov.uk/) が開発した評価フレームワークです。コーディング、reasoning、エージェントタスク、知識、振る舞い、マルチモーダル理解などを測定する幅広い評価を実行できます。Inspect AI を使うことで、複数のモデルやプロバイダーをまたいだ評価とベンチマークを、シンプルかつ再現性・一貫性のある形で行えます。

## 前提条件

* [SambaCloud アカウント](https://cloud.sambanova.ai?utm_source=inspectai\&utm_medium=external\&utm_campaign=cloud_signup)
* [SambaNova API キー](https://cloud.sambanova.ai/apis?utm_source=inspectai\&utm_medium=external\&utm_campaign=cloud_signup)
* Python 3.8 以降

## インストール

<Steps>
  <Step title="仮想環境の作成">
    ```bash theme={}
    python3 -m venv .venv
    source .venv/bin/activate
    ```

    <Note>
      評価を実行する前に、新しいターミナルを開くたびに仮想環境を有効化 (`source .venv/bin/activate`) してください。
    </Note>
  </Step>

  <Step title="依存パッケージのインストール">
    ```bash theme={}
    pip install inspect-ai
    pip install openai
    ```
  </Step>

  <Step title="SambaNova API キーの設定">
    ```bash theme={}
    export SAMBANOVA_API_KEY=your-sambacloud-api-key
    ```
  </Step>
</Steps>

## 評価の実行

最初の評価を実行する前に、Python スクリプト内でタスクを定義する必要があります。

各タスクは、以下の 3 つの主要コンポーネントで構成されます。

1. Dataset – 入力と期待される結果の一覧
2. Solver – モデルが出力を生成する方法
3. Scorer – 出力を期待される結果と照合して評価する方法

### 例: Hello world

以下のコードを `hello_world.py` ファイルとして保存します。

```python theme={}
from inspect_ai import Task, task
from inspect_ai.dataset import Sample
from inspect_ai.scorer import exact
from inspect_ai.solver import generate

@task
def hello_world():
    return Task(
        dataset=[
            Sample(
                input="Just reply with Hello World",
                target="Hello World",
            )
        ],
        solver=[generate()],
        scorer=exact(),
    )
```

次に、SambaCloud を使用して評価を実行します。以下は `Llama-4-Maverick-17B-128E-Instruct` モデルを使用した例です。

```bash theme={}
inspect eval hello_world.py --model sambanova/Llama-4-Maverick-17B-128E-Instruct
```

## 結果の閲覧

* 結果は `logs` ディレクトリに保存されます。
* Inspect の Web UI を使うと、インタラクティブに結果を確認できます。

```bash theme={}
inspect view
```

* ログをより手軽に閲覧するために、[Inspect の Visual Studio Code 拡張機能](https://inspect.aisi.org.uk/log-viewer.html#vs-code-extension)を利用することもできます。

## 参考情報

* その他の評価例については、[Inspect AI のサンプル集](https://github.com/UKGovernmentBEIS/inspect_ai/tree/main/examples)をご参照ください。
* 詳細は [Inspect AI の公式ドキュメント](https://inspect.aisi.org.uk/reference/)をご参照ください。

## トラブルシューティング

<AccordionGroup>
  <Accordion title="ModuleNotFoundError: No module named 'inspect_ai'">
    仮想環境を有効化した状態で `pip install inspect-ai` を実行してインストールしてください。インストール状態は `pip show inspect-ai` で確認できます。
  </Accordion>

  <Accordion title="認証エラーまたはモデルが見つからない">
    `SAMBANOVA_API_KEY` が export されていること、およびモデル ID が正しいことを確認してください。[SambaCloud のモデル一覧](/docs/ja/models/sambacloud-models)をご参照ください。
  </Accordion>

  <Accordion title="評価が接続エラーで失敗する">
    `api.sambanova.ai` へのネットワークアクセスを確認してください。API キーが有効かどうかは [SambaNova API ダッシュボード](https://cloud.sambanova.ai/apis?utm_source=inspectai\&utm_medium=external\&utm_campaign=cloud_signup)でご確認ください。
  </Accordion>
</AccordionGroup>