sambanova_exporter) は、各 SambaRack ホストモジュールの RDU テレメトリ (プラットフォームの健全性と、タイル・DDR・HBM・PCIe の性能) を公開します。PDU エクスポーターや XRDU エクスポーターと異なり、監視対象のホスト上で動作し、Prometheus が各ホストを直接スクレイプします。
サービスのインストールと起動
全体の流れの中での手順については、監視のインストールのステップ 1 をご参照ください。特権ユーザーとして、各ホストモジュールで以下を実行します。active を報告し、メトリクスエンドポイントが 200 を返す必要があります。
systemctl edit sambanova_exporter.service を実行して環境変数 SAMBANOVA_EXPORTER_CONFIG_FILE を設定します。コマンドラインオプション -c <file> はこの環境変数より優先されます。指定したファイルが見つからない場合、エクスポーターはそれを無視します。ファイルは存在するものの読み取りまたは解析ができない場合、エクスポーターは失敗します。
チャートによる公開の仕組み
チャートはエクスポーター自体をデプロイしません。ホスト側のポートをスクレイプ可能にします。- ホストネットワーク上のプレースホルダ DaemonSet により、Kubernetes Service に RDU ノードごとに 1 つのエンドポイントが追加されます。その Readiness Probe はホスト側サービスの状態に追随するため、停止したエクスポーターはエンドポイント一覧から外れます。
ServiceMonitorがこの Service をスクレイプし、エクスポーター自身は公開しない 2 つのラベルを追加します。nodeはノード名から、rackは宣言したrackMapの値から付与されます。ラックは自動検出できないため、rackMapを設定しない場合、系列 (series) にはnodeは付きますがrackは付きません。
serviceMonitor.enabled のデフォルトは false です。これを true に設定しないと、Prometheus は RDU メトリクスをスクレイプしません。
コレクター
各コレクターは個別に有効化・無効化できます。デフォルトではすべて有効で、HBM コレクターは HBM を搭載するプラットフォームでのみ起動します。メトリクス
プラットフォームコレクター
以下の表でラベルが「なし」の系列は、プラットフォームごとに 1 エントリを持ちます。sambanova_platform_error_count が非ゼロであることは正常です。値そのものではなく、増加の速さに注目してください。タイルコレクター
ラベル:xrdu、rdu、tile。
プラットフォームごとに 1 エントリを持つ系列:
DDR コレクター
ラベル:xrdu、rdu、ddrch。
プラットフォームごとに 1 エントリを持つ系列:
スループットメトリクスは、オフラインだったコンポーネントに対して
-1.0 を報告します。センチネル値 をご参照ください。
HBM コレクター
HBM を搭載するプラットフォームで利用できます。ラベル:xrdu、rdu、hbm、hbmch_grp。
プラットフォームごとに 1 エントリを持つ系列:
スループットメトリクスは、オフラインだったコンポーネントに対して
-1.0 を報告します。センチネル値 をご参照ください。
PCIe コレクター
ラベル:xrdu、rdu、pcie。D2R と R2D は、操作を開始する側を表します。D2R はローカル RDU (デバイス) からリモートの RDU またはホストへのリクエスト、R2D はリモートのホストまたは RDU からローカル RDU へのリクエストです。
プラットフォームごとに 1 エントリを持つ系列:
スループットメトリクスは、オフラインだったコンポーネントに対して
-1.0 を報告します。センチネル値 をご参照ください。
ラベル
センチネル値
すべてのスループットメトリクスとタイルメトリクス (sambanova_tile_pid を除く) は、直近のサンプル時に存在してオンラインの状態になかった、または応答しなかった XRDU・RDU・コンポーネントに対して、センチネル値 (sentinel value) として -1.0 を報告します。avg は -1.0 を含めて計算し、min は -1.0 を返すため、すべての集計で必ず除外してください。
sambanova_tile_pid は、直近のサンプル時にプロセスへ割り当てられていたタイルのみを列挙します。
設定
設定ファイルは INI 形式です。[section] ヘッダーの後に option = value の行が続きます。セクション名は大文字と小文字を区別しますが、オプション名と値は区別しません。値を空のままにすると、デフォルト値が使用されます。
[sambanova_exporter]
include_rdus と exclude_rdus には、xrdu/rdu のペアをカンマ区切りで指定します。範囲指定と * も使用できます。たとえば include_rdus = 0-2/*,3/0 は、XRDU 0〜2 のすべての RDU と、XRDU 3 の RDU 0 を監視します。exclude_rdus = 2/1,3/* は、XRDU 2 の RDU 1 と、XRDU 3 のすべての RDU を監視対象から外します。オフライン数のカウントは、監視対象の RDU のみが対象です。
コレクターセクション
[platform_collector]、[tile_collector]、[ddr_collector]、[hbm_collector]、[pcie_collector] の各セクションは log_level を受け付けます。プラットフォームコレクターを除く各セクションは、さらに update_interval、include_rdus、exclude_rdus も受け付け、そのコレクターに限ってグローバル値を上書きします。
[tile_collector] では、さらに以下も指定できます。