Gradio

Gradio は、機械学習モデル、API、Python 関数を披露するインタラクティブな Web アプリケーションを構築するための、オープンソースの Python ライブラリです。sambanova-gradio パッケージは、SambaNova モデルの統合を簡素化することで Gradio の機能を拡張します。開発者が SambaNova モデルをアプリケーションに接続するための、使いやすいインターフェースを提供します。 sambanova-gradio パッケージの依存関係は OpenAI と Gradio の 2 つです。組み込みのレジストリ関数 sambanova_gradio.registry によってセットアップ手順が簡素化され、さまざまなモデルへのシームレスな接続が容易になります。レジストリ関数は name パラメータとして model ID を受け取ります。スクリプトを実行すると、指定したモデルを使用するアプリケーションインターフェースが自動的に生成されます。実装の詳細と追加の設定については、sambanova-gradio の GitHub リポジトリをご参照ください。

前提条件

SambaCloud アカウント
SambaNova API キー

インストール

以下の手順に従って、SambaNova モデルを Gradio と連携させます。

sambanova-gradio パッケージのインストール

pip install sambanova-gradio

SambaNova API キーの設定

export SAMBANOVA_API_KEY="your-api-key"

Gradio インターフェースの作成

以下のように sambanova_gradio.registry 関数を使用して、Gradio アプリケーションを構築・起動します。

この Python スクリプトを実行すると、Meta-Llama-3.3-70B-Instruct モデルに接続された Gradio インターフェースが起動します。

import gradio as gr
import sambanova_gradio

gr.load(
    name='Meta-Llama-3.3-70B-Instruct',
    src=sambanova_gradio.registry,
).launch()

インターフェースのカスタマイズ

以下のように、モデルや入出力コンポーネント、その他の設定を gr.Interface に指定することで、インターフェースをカスタマイズできます。

import gradio as gr
import sambanova_gradio

gr.load(
    name='Meta-Llama-3.3-70B-Instruct',
    src=sambanova_gradio.registry,
    title='Sambanova-Gradio Integration',
    description="Chat with Meta-Llama-3.3-70B-Instruct model.",
    examples=["Explain quantum gravity to a 5-year old.", "How many R are there in the word Strawberry?"]
).launch()

画面イメージ

上記のコードスニペットを実行すると、以下のようなインターフェースが生成されます。

Meta-Llama-3.3-70B-Instruct を使った Gradio のチャットインターフェース

Gradio アプリケーションのその他の例については、SambaNova の Hugging Face Spaces をご覧ください。

トラブルシューティング

ModuleNotFoundError: No module named 'sambanova_gradio'

パッケージがインストールされていないか、別の環境にインストールされています。pip install sambanova-gradio を実行し、pip show sambanova-gradio でインストール状態を確認してください。

認証エラーまたは 401 Unauthorized

API キーが未設定か無効です。echo "${SAMBANOVA_API_KEY:0:10}..." で SAMBANOVA_API_KEY が設定されているか確認し、空の場合は再度 export してください。

モデルが見つからない、またはモデル ID が無効

モデル ID が正しいか確認してください。有効な ID は対応モデルをご参照ください。

概要

開発者ツール

フレームワーク

インターフェースとローコード

データとインフラ

マルチモーダル

評価とモニタリング

前提条件

インストール

Gradio インターフェースの作成

インターフェースのカスタマイズ

画面イメージ

トラブルシューティング

​前提条件

​インストール

​Gradio インターフェースの作成

​インターフェースのカスタマイズ

​画面イメージ

​トラブルシューティング

前提条件

インストール

Gradio インターフェースの作成

インターフェースのカスタマイズ

画面イメージ

トラブルシューティング