Vapi

• ユーザーとの自然な会話
• 電話の発着信
• 既存のシステムや API との連携
• 予約スケジューリングやカスタマーサポートなど、高度なユースケースを含む複雑なワークフローへの対応

​

前提条件

• SambaCloud アカウントと API キー (API キーは SambaCloud ポータルの API Keys タブから生成できます)。
• ダッシュボードにアクセスできる Vapi アカウント。電話番号は不要です。Vapi はダッシュボードから Web 通話を発信できるため、動作するマイクと、マイクにアクセスできるブラウザがあれば十分です。
• Python 3.9 以降。
• ngrok のインストール済み環境と、無料の ngrok アカウント。ステップ 4 で認証トークンを追加するまで ngrok はトンネルを開かないため、アカウントが必要です。
• ターミナル 2 つ。Flask サーバーと ngrok トンネルはどちらもフォアグラウンドで実行され、本ガイドの残りの手順の間、両方を起動したままにしておく必要があります。

​

モデルの選択

• 会話の 1 ターンが 1 リクエストになります。 発信者が話し終えるたびに、Vapi はトランスクリプト全体をプロキシに送信するため、1 回の通話ではターンごとに 1 リクエストを消費します。無料ティア (Free Tier) のアカウントはモデルごとに 1 日 20 リクエストに制限されており、おおよそ 20 ターンでエージェントが通話の途中で失敗し始めます。支払い方法を登録すると、開発者ティア (Developer Tier) に移行できます。
• Meta-Llama-3.3-70B-Instruct はリクエスト数の余裕が最も大きいモデルです。 開発者ティアで 240 RPM・48,000 RPD と、他のすべての本番モデルの 4 倍のリクエスト許容量があり、同時通話が見込まれる場合に重要です。
• ストリーミングは有効のままにしてください。 プロキシはリクエストで "stream": true が設定されている場合にのみストリーミングし、Vapi の音声合成は最初のトークンを受信した時点で始まります。ストリーミングなしでは、応答全体の生成が完了するまで発信者には何も聞こえません。
• 応答は短く保ちます。 音声では、応答が長いほど発信者が聞き続ける時間も長くなります。Vapi が独自の max_tokens を送信しない場合、app.py は応答を 250 トークンに制限します。

​

インストールとセットアップ

​

ステップ 1: リポジトリのクローン

git clone https://github.com/sambanova/integrations.git
cd integrations/vapi

​

ステップ 2: 仮想環境の作成

python3 -m venv .venv
source .venv/bin/activate

python --version

​

ステップ 3: 依存関係のインストール

pip install "flask>=3.1,<4" "sambanova>=1.12,<2"

​

ステップ 4: ngrok のインストール

brew install ngrok

ngrok config add-authtoken $YOUR_NGROK_AUTHTOKEN

​

ステップ 5: API キーの設定

export SAMBANOVA_API_KEY="your-sambanova-api-key"

# Replace this line:
client = SambaNova(api_key="YOUR_SAMBANOVA_API_KEY")

# With this one:
client = SambaNova()

​

ステップ 6: ローカル LLM サーバーの起動

python app.py

​

ステップ 7: ngrok によるサーバーの公開

ngrok http 5000

https://abcd-1234.ngrok-free.dev

​

ステップ 8: エンドポイントのテスト

curl -X POST https://abcd-1234.ngrok-free.dev/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "call": "chat.completions",
    "metadata": {
      "request_id": "example-123"
    },
    "model": "gpt-oss-120b",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Hello! Explain what an LLM is in one sentence."
      }
    ],
    "temperature": 0.7,
    "max_tokens": 150,
    "stream": true
  }'

data: {"id":"...","object":"chat.completion.chunk","choices":[{"delta":{"content":"A"},...}]}

data: {"id":"...","object":"chat.completion.chunk","choices":[{"delta":{"content":" large"},...}]}

​

ステップ 9: カスタム LLM を使った Vapi の設定

1. Vapi ダッシュボードにログインします。
2. Create Assistant を選択し、空のテンプレートから開始します。
3. アシスタントの Model セクションで、プロバイダーを Custom LLM に設定します。
4. モデル名を入力します。この値はそのまま SambaCloud に転送されるため、SambaCloud モデルに掲載された正確なモデル ID である必要があります (例: gpt-oss-120b)。大文字・小文字を含めて完全に一致しない名前は、最初のターンで失敗します。
5. エンドポイント URL フィールドに、パスを付けずに ngrok の URL を貼り付けます。
   https://abcd-1234.ngrok-free.dev
   
   Vapi はこの値を OpenAI クライアントのベース URL として使用し、自身で /chat/completions を付加します。これはプロキシサーバーが公開するルートと一致します。ここにパスを含めると /chat/completions/chat/completions となり、リクエストは 404 を返します。
6. 設定を保存します。

​

ステップ 10: アシスタントとの会話

• 発話するたびに、Flask のターミナルに 200 ステータスの POST /chat/completions 行が記録される。
• アシスタントが音声で応答し、その応答が一括で届くのではなく、生成の途中から再生され始める。
• Vapi ダッシュボードに通話が表示され、LLM パイプラインのエラーがない。

​

トラブルシューティング

​

参考情報

• 詳細な手順と完全なソースコードについては、GitHub の Vapi 連携サンプルをご覧ください。
• Vapi の詳細については、Vapi の公式ドキュメントをご覧ください。
• Vapi ダッシュボードで指定できるモデルについては、SambaCloud モデル をご参照ください。
• モデルごとのリクエスト数とトークン数の制限については、レート制限 をご参照ください。
• プロキシを介さずに SambaNova を直接呼び出す方法については、API リファレンス をご参照ください。