メインコンテンツへスキップ
NeMo Guardrails は、ユーザーが LLM に送る内容と LLM が返す内容に対して、レール (rails) と呼ばれるチェックを実行する、NVIDIA 製のオープンソースライブラリです。その openai エンジンは base_url を受け付けるため、アプリケーションモデルとレールの両方を、任意の OpenAI 互換エンドポイントで動かせます。本ページでは、NeMo Guardrails の接続先を SambaCloud に設定し、組み込みのセルフチェック (self-check) 入力レールと出力レールを有効にします。

前提条件

macOS には Python 3.9 が同梱されており、python ではなく python3 として提供されます。バージョンは python3 --version で確認してください。3.10 未満の場合は、先に pyenv、uv、または brew install python@3.12 で対応バージョンをインストールしてください。nemoguardrails が対応を宣言しているのは Python 3.10 以上 3.14 未満のため、3.13 以下を使用してください。Python 3.9 では、pip は本ガイドで動作確認していない古い nemoguardrails リリースをインストールします。

インストールとセットアップ

1

仮想環境の作成

2

NeMo Guardrails のインストール

本ガイドは、Python 3.12 上の nemoguardrails 0.24.1 で動作確認済みです。
3

SambaCloud API キーの設定

モデルとレールの設定

NeMo Guardrails は設定フォルダを読み込みます。2 つのファイルを含む config フォルダを作成します。
1

モデルとレールの接続先を SambaCloud に設定

config.yml では、ユーザーへの回答を担当するモデルを設定し、2 つのセルフチェックレールを有効にします。api_key_env_var 設定には、キーを保持する環境変数の名前を指定します。この設定を置く場所は、parameters の中ではなく、モデルエントリの最上位です。
config/config.yml
セルフチェックレールは、専用のモデルを別途定義しない限り main モデルを使用します。つまり、この 1 つのモデルが回答し、入力をチェックし、出力をチェックします。
2

セルフチェックプロンプトの追加

セルフチェックレールには、チェックごとにプロンプトが必要です。プロンプトがないと、NeMo Guardrails は設定の読み込みを拒否します。各プロンプトは、yes/no で答える質問をモデルに行い、回答が「yes」の場合にそのメッセージをブロックします。
config/prompts.yml
両方のプロンプトで max_tokens: 2048 を維持してください。MiniMax-M3.1-Flash は Reasoning モデルであり、NeMo Guardrails はデフォルトで各チェックを 1024 トークンに制限します。モデルの reasoning がこの上限をすべて使い切るとチェックの結果が空になり、NeMo Guardrails は空の回答を安全でないものとして扱うため、無害なリクエストが拒否されます。テストでは、入力チェックが 1 つのプロンプトで最大 1,299 トークンを使用しました。

ガード付き会話の実行

以下を config フォルダと同じ場所に guarded_chat.py として保存します。このスクリプトは、無害なメッセージを 1 件と、入力レールがブロックすべきメッセージを 1 件送信します。
guarded_chat.py
すべての呼び出しに options を付けてください。NeMo Guardrails は、アプリケーションモデルへの各呼び出しにストップシーケンス User: を付けて送信し、これは config.yml では変更できません。MiniMax-M3.1-Flash は Reasoning モデルであり、reasoning の中で User: を含む会話を引用することがあります。引用が起きると、回答が始まる前にストップシーケンスが応答を打ち切り、出力レールが空の返答を拒否して「I’m sorry, I can’t respond to that.」が返ります。これが起きるかどうかはプロンプト次第です。options を渡すとストップシーケンスが取り除かれるため、この事象は起こり得なくなります。
Output (abridged)
リクエストに対してどのレールが実行されたかを確認するには、generate の後に rails.explain() を呼び出します。
Output for
ブロックされたメッセージでは、self_check_input: Yes. のみが表示されます。入力レールが、アプリケーションモデルの呼び出し前にリクエストを止めたためです。
ガード付きのリクエストでは、入力チェック、回答、出力チェックの最大 3 回のモデル呼び出しが発生します。MiniMax-M3.1-Flash でのあるテストでは、短い回答にかかった時間は、レールなしで 2.3〜7.0 秒、両方のレールありで 4.4〜10.7 秒でした (各 6 回実行)。実際の数値は、モデル、プロンプト、回答の長さによって変わります。

応答のストリーミング

出力レールを有効にした状態でのストリーミングは、デフォルトでは無効です。config.yml の rails.output.streaming で有効にします。設定後のファイル全体は次のとおりです。
config/config.yml
その上で、stream_async で応答を読み取ります。
stream_chat.py
出力レールがあると、NeMo Guardrails はストリーミングされる各チャンクをチェックしてから送出し、チェックのたびにモデル呼び出しが発生します。チェックを担当するモデルを MiniMax-M3.1-Flash とした場合、最初のチャンクは 5.6〜7.5 秒後に、回答全体は 7.1〜9.9 秒後に届きました (20 回実行)。実行ごとにばらつきはありますが、最初のチャンクは必ずチェックを待ちます。最初のトークンまでの時間を短くする必要がある場合は、ストリーミング応答では出力レールを使わないでください。

トラブルシューティング

NeMo Guardrails は、設定の読み込み時に api_key_env_var で指定された環境変数を確認します。インストールとセットアップ のとおり、Python を実行するのと同じシェルでエクスポートしてください。
SAMBANOVA_API_KEY のキーが有効ではありません。SambaCloud の API キーページ からキーをコピーし、エクスポートし直してください。
config.yml の model の値が SambaCloud のモデル ID ではありません。現在の一覧は SambaCloud モデル をご参照ください。
base_url に /v1 がありません。https://api.sambanova.ai/v1 に設定してください。
NeMo Guardrails が、self_check_input または self_check_output タスクについて LLM returned empty content with finish_reason='length' をログに記録しています。Reasoning モデルが yes/no を書く前にトークンの上限を使い切り、空のチェックは安全でないものとして扱われます。モデルとレールの設定 のとおり、prompts.yml の両方のプロンプトに max_tokens: 2048 を追加してください。該当するログ行がない場合は、rails.explain() を実行して general の呼び出しを確認してください。general の completion が空である場合は、次の項目で説明する別の原因です。
NeMo Guardrails は、アプリケーションモデルへのすべての呼び出しに stop: ["User:"] を付けて送信し、config.yml ではこれを変更できません。Reasoning モデルは、reasoning の中で User: を含む会話を引用することがあります。引用が起きると、回答が始まる前にストップシーケンスが応答を終わらせ、出力レールが空の返答を拒否します。これが起きるかどうかはプロンプト次第です。guarded_chat.py と同じように、LLM パラメータとして渡すことで、リクエストごとにストップシーケンスを取り除いてください。
ストップシーケンスを取り除いても、入力レールは有害なリクエストを引き続きブロックします。この動作は nemoguardrails 0.24.1 で確認済みです。お使いの環境で原因を特定するには、rails.explain() を実行し、general の completion が空であることを確認してください。
出力レールが設定されていてストリーミングが無効の場合、stream_async() は実行できません。応答のストリーミング のとおり rails.output.streaming.enabled を True に設定するか、代わりに generate_async() を呼び出してください。

参考情報