Inspect AI

Inspect AI は、UK AI Security Institute が開発した評価フレームワークです。コーディング、reasoning、エージェントタスク、知識、振る舞い、マルチモーダル理解などを測定する幅広い評価を実行できます。Inspect AI を使うことで、複数のモデルやプロバイダーをまたいだ評価とベンチマークを、シンプルかつ再現性・一貫性のある形で行えます。

前提条件

インストール

仮想環境の作成

python3 -m venv .venv
source .venv/bin/activate

評価を実行する前に、新しいターミナルを開くたびに仮想環境を有効化 (source .venv/bin/activate) してください。

依存パッケージのインストール

pip install inspect-ai
pip install openai

SambaNova API キーの設定

export SAMBANOVA_API_KEY=your-sambacloud-api-key

評価の実行

最初の評価を実行する前に、Python スクリプト内でタスクを定義する必要があります。各タスクは、以下の 3 つの主要コンポーネントで構成されます。

Dataset – 入力と期待される結果の一覧
Solver – モデルが出力を生成する方法
Scorer – 出力を期待される結果と照合して評価する方法

例: Hello world

以下のコードを hello_world.py ファイルとして保存します。

from inspect_ai import Task, task
from inspect_ai.dataset import Sample
from inspect_ai.scorer import exact
from inspect_ai.solver import generate

@task
def hello_world():
    return Task(
        dataset=[
            Sample(
                input="Just reply with Hello World",
                target="Hello World",
            )
        ],
        solver=[generate()],
        scorer=exact(),
    )

次に、SambaCloud を使用して評価を実行します。以下は Llama-4-Maverick-17B-128E-Instruct モデルを使用した例です。

inspect eval hello_world.py --model sambanova/Llama-4-Maverick-17B-128E-Instruct

結果の閲覧

結果は logs ディレクトリに保存されます。
Inspect の Web UI を使うと、インタラクティブに結果を確認できます。

inspect view

ログをより手軽に閲覧するために、Inspect の Visual Studio Code 拡張機能を利用することもできます。

参考情報

その他の評価例については、Inspect AI のサンプル集をご参照ください。
詳細は Inspect AI の公式ドキュメントをご参照ください。

トラブルシューティング

ModuleNotFoundError: No module named 'inspect_ai'

仮想環境を有効化した状態で pip install inspect-ai を実行してインストールしてください。インストール状態は pip show inspect-ai で確認できます。

認証エラーまたはモデルが見つからない

SAMBANOVA_API_KEY が export されていること、およびモデル ID が正しいことを確認してください。SambaCloud のモデル一覧をご参照ください。

評価が接続エラーで失敗する

api.sambanova.ai へのネットワークアクセスを確認してください。API キーが有効かどうかは SambaNova API ダッシュボードでご確認ください。

概要

開発者ツール

フレームワーク

インターフェースとローコード

データとインフラ

マルチモーダル

評価とモニタリング

前提条件

インストール

評価の実行

例: Hello world

結果の閲覧

参考情報

トラブルシューティング

​前提条件

​インストール

​評価の実行

​例: Hello world

​結果の閲覧

​参考情報

​トラブルシューティング

前提条件

インストール

評価の実行

例: Hello world

結果の閲覧

参考情報

トラブルシューティング