メインコンテンツへスキップ
Deepgram は音声プラットフォームで、その Voice Agent API は、speech-to-text (音声認識)、LLM、text-to-speech (音声合成) を単一の WebSocket 上で実行します。LLM のステップは差し替え可能です: open_ai プロバイダータイプは、OpenAI Chat Completions 形式に従う任意のエンドポイントを受け付けます。接続先を SambaCloud にすると、Deepgram の音声エージェントが SambaNova モデルで回答するようになります。音声では最初のトークンが届くまでの速さが重要になるため、本ガイドではモデルごとにその時間も計測します。

前提条件

  • SambaCloud のアカウントと API キー
  • Deepgram のアカウントと API キー。キーはコンソールの API keys で作成します。
  • Python 3.9 以上
macOS では、Python は python ではなく python3 として提供されます。バージョンは python3 --version で確認してください。macOS 標準の Python 3.9 で本ガイドは動作します。

インストールとセットアップ

1

仮想環境の作成

2

WebSocket クライアントのインストール

本ガイドは、Python 3.12 上の websockets 17.4 と、Python 3.9.6 上の websockets 15.0.1 で動作確認済みです。
3

API キーの設定

音声エージェントの SambaCloud への接続

エージェントの設定は、WebSocket が開いたらすぐに送信する Settings メッセージで行います。SambaNova 向けに変更するのは agent.think の部分です。
  • provider.type は open_ai で、「OpenAI Chat Completions 形式」を意味します。モデル名には SambaCloud のモデル ID を指定します。
  • endpoint.url は、ベース URL ではなく、チャット補完のフル URL です。
  • endpoint.headers.authorization には SambaCloud のキーを設定します。
以下のスクリプトはこの Settings メッセージを送信した後、InjectUserMessage メッセージでエージェントに質問をテキスト入力するため、マイクなしでテストできます。スクリプトは、会話のトランスクリプトと、各ターンの後に Deepgram が送信するレイテンシレポートを出力し、音声の返答を reply.wav として保存します。
voice_agent.py
Output
ttt_text_latency は、LLM からの最初のテキストトークンまでの時間で、音声エージェントで注目すべき数値です。total_latency は、ユーザーのターンの終わりから最初の音声バイトが届くまでの時間です。実際の数値は、モデル、プロンプト、ネットワークによって変わります。このテストはテキストを送信しているため、数値に speech-to-text の時間は含まれません。

音声向けモデルの選択

上のスクリプトは MiniMax-M3.1-Flash を使用しています。音声は、最初のトークンまでのレイテンシが最も重要になる用途であるため、モデルを比較する価値があります。次の表の各行は、MODEL だけを変更して上のスクリプトで計測した ttt_text_latency です。
MiniMax-M3.1-Flash は Reasoning モデルです。回答を始める前に考える時間を取り、その時間は最初のテキストトークンまでの時間に含まれるため、reasoning を行わないモデルと比べて返答の開始が遅く、遅延はターンごとに変動します。間の長さが最も重要になる音声エージェントでは、MODEL を Meta-Llama-3.3-70B-Instruct に設定してください。このモデルは、ほとんどの実行で 0.5 秒未満で回答しました。
ばらつきが最も大きかったのは gemma-4-31B-it です。最初のトークンまでの時間は約 1.1 秒から 10 秒超まで幅があり、大半の実行は 3〜6 秒でした。Meta-Llama-3.3-70B-Instruct と gpt-oss-120b でも、テスト中に最初のトークンが数秒かかる遅い実行が時折ありました。レイテンシの数値を引用する前に、複数回の実行で計測してください。

トラブルシューティング

Python を実行しているシェルで環境変数が設定されていません。インストールとセットアップ のとおり設定し、同じシェルからスクリプトを再実行してください。
Deepgram が接続を拒否しており、DEEPGRAM_API_KEY が有効ではありません。Deepgram コンソールの API keys でキーを作成し、エクスポートし直してください。
この警告は SambaCloud への LLM リクエストに起因するもので、authorization ヘッダーのキーが有効ではありません。SambaCloud の API キーページ からキーをコピーし、Bearer プレフィックスは残してください。
model の値が SambaCloud のモデル ID ではありません。現在の一覧は SambaCloud モデル をご参照ください。
endpoint.url がベース URL になっています。フルパスの https://api.sambanova.ai/v1/chat/completions を使用してください。
Deepgram は、LLM が 5 秒経っても回答を始めない場合にこの警告を出力し、10 秒の時点で再度出力します。Reasoning モデルの MiniMax-M3.1-Flash や gemma-4-31B-it のような遅めのモデルでは、最初のトークンの生成に 5 秒以上かかることがあります。返答自体は届きます。長い間を避けるには、音声向けモデルの選択 の説明に従って、より高速なモデルに切り替えてください。
Deepgram が LLM リクエストを 3 回再試行して断念しました。このエラーの直前に出力されている Warning メッセージが、上の 2 つのエラーのような本当の原因を示しています。
Deepgram は、しばらく音声を受信しないセッションを閉じます。このエラーは、モデルの回答が遅い場合にも発生することがあります。テストでは、最初のテキストトークンまでに約 4 秒以上かかった実行で発生しました。スクリプトはエラーを出力して停止しますが、reply.wav は保存されます。テキストのみのセッションをより長く開いたままにする場合も、このエラーの発生を想定してください。

参考情報