openai エンジンは base_url を受け付けるため、アプリケーションモデルとレールの両方を、任意の OpenAI 互換エンドポイントで動かせます。本ページでは、NeMo Guardrails の接続先を SambaCloud に設定し、組み込みのセルフチェック (self-check) 入力レールと出力レールを有効にします。
前提条件
- SambaCloud のアカウントと API キー
- Python 3.10〜3.13
macOS には Python 3.9 が同梱されており、
python ではなく python3 として提供されます。バージョンは python3 --version で確認してください。3.10 未満の場合は、先に pyenv、uv、または brew install python@3.12 で対応バージョンをインストールしてください。nemoguardrails が対応を宣言しているのは Python 3.10 以上 3.14 未満のため、3.13 以下を使用してください。Python 3.9 では、pip は本ガイドで動作確認していない古い nemoguardrails リリースをインストールします。インストールとセットアップ
1
仮想環境の作成
2
NeMo Guardrails のインストール
nemoguardrails 0.24.1 で動作確認済みです。3
SambaCloud API キーの設定
モデルとレールの設定
NeMo Guardrails は設定フォルダを読み込みます。2 つのファイルを含むconfig フォルダを作成します。
1
モデルとレールの接続先を SambaCloud に設定
config.yml では、ユーザーへの回答を担当するモデルを設定し、2 つのセルフチェックレールを有効にします。api_key_env_var 設定には、キーを保持する環境変数の名前を指定します。この設定を置く場所は、parameters の中ではなく、モデルエントリの最上位です。config/config.yml
main モデルを使用します。つまり、この 1 つのモデルが回答し、入力をチェックし、出力をチェックします。2
セルフチェックプロンプトの追加
セルフチェックレールには、チェックごとにプロンプトが必要です。プロンプトがないと、NeMo Guardrails は設定の読み込みを拒否します。各プロンプトは、yes/no で答える質問をモデルに行い、回答が「yes」の場合にそのメッセージをブロックします。
config/prompts.yml
ガード付き会話の実行
以下をconfig フォルダと同じ場所に guarded_chat.py として保存します。このスクリプトは、無害なメッセージを 1 件と、入力レールがブロックすべきメッセージを 1 件送信します。
guarded_chat.py
Output (abridged)
generate の後に rails.explain() を呼び出します。
Output for
self_check_input: Yes. のみが表示されます。入力レールが、アプリケーションモデルの呼び出し前にリクエストを止めたためです。
ガード付きのリクエストでは、入力チェック、回答、出力チェックの最大 3 回のモデル呼び出しが発生します。
MiniMax-M3.1-Flash でのあるテストでは、短い回答にかかった時間は、レールなしで 2.3〜7.0 秒、両方のレールありで 4.4〜10.7 秒でした (各 6 回実行)。実際の数値は、モデル、プロンプト、回答の長さによって変わります。応答のストリーミング
出力レールを有効にした状態でのストリーミングは、デフォルトでは無効です。config.yml の rails.output.streaming で有効にします。設定後のファイル全体は次のとおりです。
config/config.yml
stream_async で応答を読み取ります。
stream_chat.py
トラブルシューティング
Model API Key environment variable 'SAMBANOVA_API_KEY' not set
Model API Key environment variable 'SAMBANOVA_API_KEY' not set
NeMo Guardrails は、設定の読み込み時に
api_key_env_var で指定された環境変数を確認します。インストールとセットアップ のとおり、Python を実行するのと同じシェルでエクスポートしてください。[401] Incorrect API key provided
[401] Incorrect API key provided
SAMBANOVA_API_KEY のキーが有効ではありません。SambaCloud の API キーページ からキーをコピーし、エクスポートし直してください。[404] The model does not exist or you do not have access to it
[404] The model does not exist or you do not have access to it
config.yml の model の値が SambaCloud のモデル ID ではありません。現在の一覧は SambaCloud モデル をご参照ください。404 page not found
404 page not found
base_url に /v1 がありません。https://api.sambanova.ai/v1 に設定してください。無害なリクエストに「I'm sorry, I can't respond to that.」が返る
無害なリクエストに「I'm sorry, I can't respond to that.」が返る
NeMo Guardrails が、
self_check_input または self_check_output タスクについて LLM returned empty content with finish_reason='length' をログに記録しています。Reasoning モデルが yes/no を書く前にトークンの上限を使い切り、空のチェックは安全でないものとして扱われます。モデルとレールの設定 のとおり、prompts.yml の両方のプロンプトに max_tokens: 2048 を追加してください。該当するログ行がない場合は、rails.explain() を実行して general の呼び出しを確認してください。general の completion が空である場合は、次の項目で説明する別の原因です。一部のプロンプトでアプリケーションモデルが空の回答を返す
一部のプロンプトでアプリケーションモデルが空の回答を返す
NeMo Guardrails は、アプリケーションモデルへのすべての呼び出しに ストップシーケンスを取り除いても、入力レールは有害なリクエストを引き続きブロックします。この動作は
stop: ["User:"] を付けて送信し、config.yml ではこれを変更できません。Reasoning モデルは、reasoning の中で User: を含む会話を引用することがあります。引用が起きると、回答が始まる前にストップシーケンスが応答を終わらせ、出力レールが空の返答を拒否します。これが起きるかどうかはプロンプト次第です。guarded_chat.py と同じように、LLM パラメータとして渡すことで、リクエストごとにストップシーケンスを取り除いてください。nemoguardrails 0.24.1 で確認済みです。お使いの環境で原因を特定するには、rails.explain() を実行し、general の completion が空であることを確認してください。StreamingNotSupportedError
StreamingNotSupportedError
出力レールが設定されていてストリーミングが無効の場合、
stream_async() は実行できません。応答のストリーミング のとおり rails.output.streaming.enabled を True に設定するか、代わりに generate_async() を呼び出してください。
