> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sambanova.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# ログ

本ページでは、プラットフォームが出力するログベースのテレメトリについて説明します。これらは Prometheus メトリクスではなくログイベントであり、詳細なデバッグ、パフォーマンス分析、フォレンジック調査での利用を想定しています。

ログイベントは通常、OpenSearch や Loki などのログバックエンドに取り込まれ、Grafana などのツールでクエリされます。

## RDU マニフェストイベント

RDU マニフェストイベント (RDU manifest events) は、モデルランタイムがリクエストごとに出力する構造化ログです。トークン数、主要なレイテンシ、そして詳細なタイミングフィールド一式が含まれます。

これらのイベントは通常、ログインデックス（例: OpenSearch のインデックス）にインデックス化され、モデル、テナント、Pod、時間範囲などのフィールドでフィルタリングできます。

### RDU マニフェストフィールド

| フィールド | カテゴリ | キー | 説明 |
| - | - | - | - |
| プロンプトトークン | トークン | `prompt_tokens_count` | プロンプトに含まれる入力トークン数。 |
| 生成トークン | トークン | `completion_tokens_count` | 生成された出力トークン数。 |
| 合計レイテンシ | レイテンシ | `total_latency` | リクエスト開始から最終トークンまでのエンドツーエンドの時間（キュー時間と計算時間を含む）。 |
| Time to First Token (TTFT) | レイテンシ | `time_to_first_token` | リクエスト送信から最初のトークンまでの時間。 |
| 1秒あたりの生成トークン数 | スループット | `completion_tokens_per_sec` | 補完全体を通じた実効スループット。 |
| 最初のトークン以降の 1秒あたりのトークン数 | スループット | `completion_tokens_after_first_per_sec` | 最初のトークン以降のデコードスループット（定常状態）。 |
| アクセプト率 | 投機的デコーディング | `acceptance_rate` | 投機的デコーディング (speculative decoding) のアクセプト率。 |
| デコードキュー時間 | 内部タイミング | `decode_queue_time` | デコード関連のキュー（連続バッチング (continuous batching) のキューなど）で費やされた時間。 |
| テンソル転送時間 | 内部タイミング | `tensor_transfer_time` | コンポーネント間のテンソル転送に費やされた時間。 |
| キャッシュ転送時間 | 内部タイミング | `cache_transfer_time` | キャッシュ（KV キャッシュなど）の転送に費やされた時間。 |

<Note>
  これらのフィールドはロギングイベントであり、スキーマは今後変更される可能性があります。
</Note>

## クエリ例

以下の例は、クエリ言語をサポートするログバックエンド（OpenSearch や Loki など）を使用し、各イベントにタイムスタンプが付与されていることを前提としています。

**モデルごとの p95 合計レイテンシ（直近 15 分）**

* フィルタ: `model:"<model_name>" AND @timestamp:[now-15m TO now]`
* 集計: `total_latency` の 95 パーセンタイルを `model` でグループ化して算出。

**TTFT と合計レイテンシの比較**

* `model` でグループ化し、`time_to_first_token` と `total_latency` の両方について p50/p90 を算出。

**デコードキュー時間のホットスポット**

* フィルタ: `decode_queue_time > <threshold>`
* `model` または `tenant` でグループ化し、キューイングが最も多い箇所を特定。

**投機的デコーディングのアクセプト率**

* フィルタ: `model:"<model_name>"`
* 集計: `acceptance_rate` の時系列平均。

## 関連トピック

* [監視と可観測性](/docs/ja/sambastack/reference-architecture/observability/overview) – テレメトリの全体像と階層。
* [メトリクス](/docs/ja/sambastack/reference-architecture/observability/metrics) – ルーターレベルのメトリクスリファレンス。