ログ

本ページでは、プラットフォームが出力するログベースのテレメトリについて説明します。これらは Prometheus メトリクスではなくログイベントであり、詳細なデバッグ、パフォーマンス分析、フォレンジック調査での利用を想定しています。 ログイベントは通常、OpenSearch や Loki などのログバックエンドに取り込まれ、Grafana などのツールでクエリされます。

​

RDU マニフェストイベント

RDU マニフェストイベント (RDU manifest events) は、モデルランタイムがリクエストごとに出力する構造化ログです。トークン数、主要なレイテンシ、そして詳細なタイミングフィールド一式が含まれます。 これらのイベントは通常、ログインデックス（例: OpenSearch のインデックス）にインデックス化され、モデル、テナント、Pod、時間範囲などのフィールドでフィルタリングできます。

​

RDU マニフェストフィールド

​

クエリ例

以下の例は、クエリ言語をサポートするログバックエンド（OpenSearch や Loki など）を使用し、各イベントにタイムスタンプが付与されていることを前提としています。 モデルごとの p95 合計レイテンシ（直近 15 分）

• フィルタ: model:"<model_name>" AND @timestamp:[now-15m TO now]
• 集計: total_latency の 95 パーセンタイルを model でグループ化して算出。

TTFT と合計レイテンシの比較

• model でグループ化し、time_to_first_token と total_latency の両方について p50/p90 を算出。

デコードキュー時間のホットスポット

• フィルタ: decode_queue_time > <threshold>
• model または tenant でグループ化し、キューイングが最も多い箇所を特定。

投機的デコーディングのアクセプト率

• フィルタ: model:"<model_name>"
• 集計: acceptance_rate の時系列平均。

​

関連トピック

• 監視と可観測性 – テレメトリの全体像と階層。
• メトリクス – ルーターレベルのメトリクスリファレンス。