- メトリクス (Prometheus) – トラフィック、レイテンシ、キューイング、ワーカー状態など、ルーターレベルのメトリクス。詳細は メトリクス をご参照ください。
- ログ（ロギングイベント / マニフェストイベント） – モデルランタイムやその他のサービスが出力する、リクエスト単位の詳細な実行イベント。詳細は ログ をご参照ください。
テレメトリデータは一般に、メトリクス（集計やアラートに用いる数値の時系列データ）、ログ（デバッグやフォレンジック調査に用いる個別イベント）、トレース（レイテンシ分析や根本原因調査に用いるリクエスト経路の記録）の 3 種類で構成されます。
モニタリングスタック
SambaStack は、SambaNova ラック上で稼働する AI 推論ワークロードのあらゆる側面を観測し、トラブルシューティングできるように、これら 2 種類のテレメトリを出力します。これにより、以下の情報の収集・保存・可視化が可能になります。- システムログとアプリケーションログ（コントロールプレーンおよびデータプレーン）
- 監査イベントとアクセストレース
- 使用状況メトリクス（QPS、レイテンシ、キュー時間、メモリ使用率）
- ユーザーアクティビティ（アクティブユーザー、セッション）
- 正常性と可用性のシグナル（ノード状態、Pod 状態、モデルの正常性）
- 提供されるスタック全体をそのまま採用する
- 既存のモニタリングプラットフォーム（Splunk、Datadog、Elasticsearch、New Relic など）の同等コンポーネントで個別に置き換える
リファレンスアーキテクチャはサードパーティ製品を使用しています。バージョンやコマンド構文の変更に同期して更新される保証はありません。SambaStack に固有でない問題については、各ベンダーにお問い合わせください。
コンポーネント
SambaStack のリファレンスモニタリングスタックは、主に 4 つのコンポーネントで構成されます。アーキテクチャ
設計原則
- モジュール型の連携 – 各コンポーネントは、明確に定義されたインターフェイス（Fluent Bit の出力、Prometheus の remote_write、Grafana のデータソース）を公開しています。どのコンポーネントも同等品に置き換え可能です。
- Kubernetes ネイティブ – すべてのコンポーネントは、SambaStack ワークロードがデプロイされている Kubernetes クラスター上で動作し、クラスターと連携します。
- 既存スタックの持ち込み – 既存のログプラットフォーム、メトリクスシステム、可視化レイヤーと連携できます。
- セキュリティ・コンプライアンス対応 – ロギング、メトリクス、監査データは、既存の SIEM やコンプライアンスツールと連携できます。