SambaStack のメトリクス - SambaNova ドキュメント

本ページでは、推論ルーター (inference router) と関連サービスが Prometheus 形式で公開するメトリクスについて説明します。これらは、ダッシュボード、SLO、アラートでの利用を想定した数値の時系列データです。

推論ルーターメトリクス

推論ルーターメトリクスは、コア推論レイヤーにおけるキュー、スケジューリング、リクエストのライフサイクルを表します。

推論ルーターメトリクス一覧

メトリクス	カテゴリ	Prometheus 名	説明	粒度
キュー長	キュー	`queue_length`	ルーター内で現在キューイングされているリクエスト数。	モデル、QoS、および/またはユーザー単位
最大キュー待機時間	キュー	`queue_max_wait_seconds`	現在キュー内にあるリクエストの最大経過時間（秒）。	モデル、QoS 単位
顧客別キュー長	キュー	`customer_queue_length`	顧客・モデルごとのキュー長。	ユーザー、モデル単位
送信リクエスト数	トラフィック	`submitted_total`	ルーターに送信されたリクエストの総数。	モデル、QoS、ユーザー、ステータス単位
完了リクエスト数	トラフィック	`completed_total`	完了したリクエストの総数。完了ステータス（success、error など）のラベル付き。	モデル、QoS、ユーザー、ステータス単位
レスポンスコード	トラフィック	`response_code_total`	ステータスコード別の HTTP レスポンス数。	HTTP コード、ルート、ユーザー単位
レスポンスレイテンシ	レイテンシ	`response_duration_ms`	エンドツーエンドのレスポンスレイテンシ（ミリ秒）。多くの場合、ヒストグラムまたはサマリーとして提供。	モデル、QoS、顧客単位
接続状態	ワーカー	`connection_state_ratio`	各状態（idle、busy、draining、unhealthy など）にあるワーカーの割合。	ワーカー状態、モデル、プール単位
アクティブユーザー数	利用状況	`active_users`	ルーターが観測したアクティブユーザー数。	全体および/またはユーザー単位

メトリクス名とラベルセットは、今後変更される可能性があります。メトリクススキーマの変更については、リリースノートをご参照ください。

関連トピック

監視と可観測性 – 概念の全体像と階層。
ログ – ログ/マニフェストイベントのスキーマと利用方法。