SambaRack 監視のリファレンスダッシュボード

SambaNova は、エクスポーターごとに 1 つ、計 3 つの Grafana ダッシュボードの例を提供しています。これらは出発点であり、サポート対象の製品インターフェースではありません。まずインポートして、メトリクスで知りたいことに答えられるか、クエリがどのように書かれているかを確認した上で、必要なパネルをチームで既に運用しているダッシュボードにコピーしてご利用ください。

ダッシュボード	UID	エクスポーター	答えられる疑問
SambaRack - Rack Power	`sambarack-power`	PDU エクスポーター	各ラックはどれだけ電力を消費しているか
SambaRack - Fan and Temperature	`sambarack-thermal`	XRDU エクスポーター	XRDU の温度とファンの回転速度はどうなっているか
SambaRack - RDU Utilization and Health	`sambarack-rdu`	SambaNova エクスポーター	RDU はどれだけ使われているか。障害やエラーは出ていないか

ダッシュボードがエクスポーターごとに 1 つなのは、それがインストールの単位と一致する境界だからです。有効化していないエクスポーターがあっても、No data のパネルだらけのダッシュボードが残ることはありません。どのダッシュボードも、同じ行が同じ順序で並びます: 稼働しているか、何をしているか、何が問題か。

チャートはデフォルトでダッシュボードをデプロイします (dashboards.enabled: true)。代わりに Grafana UI からインポートする場合は、チャートの dashboards/ フォルダから JSON ファイルを取得してください。

helm pull oci://<sambanova-registry>/sambanova-hardware-monitoring --version 1.0.0 --untar

各ダッシュボードの内容

ラック電力 (`sambarack-power`)

変数: datasource、rack。

行	パネル	わかること
Fleet	PDUs reachable、Total draw、Measurements unavailable、PDUs down	監視が機能しているかどうかと、合計消費電力。後ろの 2 つは、値がゼロの間は色が付きません。
Power per rack	Power draw by rack、Draw by PDU、Down PDUs	ラックごとの消費電力の推移、各 PDU の現在の消費電力、応答していない PDU
Device (折りたたみ)	PDU inventory	各 PDU のモデル・ファームウェア・シリアル

ファンと温度 (`sambarack-thermal`)

変数: datasource、rack、xrdu。rack は単一選択です。すべてのパネルが 1 つのラックを表示するため、フリートが拡大してもセンサーごとのチャートは読みやすいまま保たれます。xrdu には、選択したラックの XRDU のみが表示されます。

行	パネル	わかること
Fleet	BMCs reachable、Sensors reporting	そのラックの監視が機能しているかどうか
Temperature	Temperature by sensor	選択したラックの、センサーごとの温度の推移
Fan	Fan speed by sensor	選択したラックの、ファン速度の推移

RDU 使用率と健全性 (`sambarack-rdu`)

変数: datasource、rack、node。node のリストは、選択したラックのものに絞り込まれます。

行	パネル	わかること
Fleet	Nodes reporting、Utilization (avg over range)、New faults、Tiles offline	ノードが稼働しているか、選択した時間範囲内でどれだけ使われていたか、その時間範囲内に何か故障が発生していないか
Utilization	Utilization by rack	各ラックの使用状況。タイル使用率の平均 (100 - idle) として表示します
Health	Faults and errors per hour by node、Tiles offline by node	最近状態が変化したノードはどれか
Platform (折りたたみ)	Platform inventory and firmware	ノードごとのラック、稼働時間、ファームウェアバージョン

パネルの集計はノードとラックの単位のみです。タイルごと・XRDU ごとの系列はありません。エラー数がゼロでないこと自体は正常であるため、ダッシュボードではエラーを 1 時間あたりのレートとしてのみ表示します。

ダッシュボードのカスタマイズ

一部のパネルは、エクスポーターではなくお使いの設定に依存しており、設定がなければ空のままになります。

パネル	必要なもの
Power draw by rack	各 PDU ターゲットの `rack` ラベル。エクスポーターは PDU がどのラックにあるかを判別できません。ラベルがない場合、このパネルにはラベルなしの系列が 1 本だけ表示されます (合計値自体は正しいままです)。
ファンと温度ダッシュボードのすべてのパネル	各 XRDU ターゲットの `rack` ラベル。これがないと、`rack` 変数には何も表示されません。
RDU ダッシュボードの、ラックで絞り込むすべてのパネル	`rack` ラベルを供給する `sambanova-exporter.serviceMonitor.rackMap`

pdu-exporter:
  targets:
    - address: <pdu-ip>
      name: <rack-id>-pdu1
      labels:
        rack: "<rack-id>"

各ダッシュボードのデータソースはテンプレート変数になっているため、別の環境のデータソース ID に縛られることはありません。この変数は、Prometheus という名前のデータソースを事前選択します。別の名前を使っている場合は、ダッシュボード上部のリストから選択してください。独自のパネルを作る際は、これらのダッシュボードで使っている次の 4 つの慣例を踏襲することをおすすめします。

慣例	理由
電力は `level="total"` でフィルタする	PDU は同じワット数を複数のレベルで報告します。フィルタなしの合計は実際の約 3 倍になります。PDU エクスポーターのラベルをご参照ください。
ギャップ埋め (`spanNulls`) は無効のままにする	エクスポーターは、デバイスが失った測定値を、古い値やゼロとして公開する代わりに出力自体を止めます。そのため、グラフの欠落はそれ自体がシグナルです。PDU エクスポーターの動作をご参照ください。
タイルのパーセンテージは合計しない	`sambanova_tile_exec_percent` はタイルごとに 1 系列を報告します。ノードまたはラックごとの平均を使ってください。タイルコレクターをご参照ください。
`-1` を除外する	タイルおよびスループットのメトリクスは、存在しなかった、または応答しなかったコンポーネントに対して `-1.0` を報告します。すべての集計に `!= -1` を追加してください。センチネル値をご参照ください。

ダッシュボードのインストール

方法	適する場面
Helm チャート	いずれにせよ監視チャートをインストールする場合
ConfigMap の手動作成	チャートのリリースに手を加えずにダッシュボードを入れたい場合
Grafana UI	一度だけ確認したい場合、または Grafana にダッシュボードサイドカーがない場合

最初の 2 つの方法には、Grafana のダッシュボードサイドカーが必要です。サイドカーがない場合、ConfigMap は作成されますが、誰もそれを読み込みません。

Helm チャートでのインストール

チャートはデフォルトでダッシュボードをインストールします。dashboards.enabled を false にしていた場合は、有効に戻してください。--reuse-values を付けると、既存のエクスポーターとターゲットの設定が維持されます。

helm upgrade --install hwmon \
  oci://<sambanova-registry>/sambanova-hardware-monitoring \
  --version 1.0.0 --namespace monitoring --reuse-values \
  --set dashboards.enabled=true

エアギャップ環境のインストールでは、代わりにローカルのチャートファイルからアップグレードしてください。監視のインストールをご参照ください。サイドカーが、チャートの適用するラベルをセレクターにしていることを確認します。

kubectl get deploy -n monitoring -l app.kubernetes.io/name=grafana \
  -o jsonpath='{.items[*].spec.template.spec.containers[?(@.name=="grafana-sc-dashboard")].env[?(@.name=="LABEL")].value}'

kube-prometheus-stack は grafana_dashboard を使用します。これはチャートのデフォルトと同じです。お使いの環境で異なる場合は、dashboards.sidecarLabel.key を設定してください。

サイドカーのラベルが誤っていても、エラーは出ません。ConfigMap は作成されるのに、ダッシュボードはいつまでも表示されません。

同梱のダッシュボードに加えて独自のダッシュボードを追加するには、以下を実行します。

helm upgrade --install hwmon \
  oci://<sambanova-registry>/sambanova-hardware-monitoring \
  --version 1.0.0 -n monitoring --reuse-values \
  --set dashboards.enabled=true \
  --set-file 'dashboards.extra.my-dashboard\.json=./my-dashboard.json'

エアギャップ環境のインストールでは、oci:// のチャート参照の代わりに ./sambanova-hardware-monitoring-1.0.0.tgz を使用してください。ファイル名のドットはエスケープしてください。バックスラッシュがないと、スキーマが got object, want string というエラーで値を拒否します。このフラグはダッシュボードごとに繰り返します。独自のダッシュボードのみを配布する場合は、dashboards.bundled: [] を設定します。同梱ダッシュボードと同じファイル名の extra エントリは、同梱のものを置き換えます。

ConfigMap の手動作成によるインストール

ダッシュボードごとに 1 つずつ、サイドカーの検出用ラベルを付けた ConfigMap を作成します。1 つにまとめないでください。ConfigMap の上限は 1 MiB であり、サイドカーは変更された ConfigMap を丸ごと再読み込みします。

cd sambanova-hardware-monitoring/dashboards

for f in sambarack-power sambarack-thermal sambarack-rdu; do
  kubectl -n monitoring create configmap "$f" \
    --from-file="$f.json=$f.json" \
    --dry-run=client -o yaml \
  | kubectl label -f- --local --dry-run=client -o yaml \
      grafana_dashboard=1 app=sambanova-hardware-monitoring \
  | kubectl apply -f -
done

ConfigMap のキーは .json で終わる必要があります。それ以外のキーは Grafana に無視されます。サイドカーが読み込んだことを確認します。

kubectl -n monitoring get cm -l grafana_dashboard=1
kubectl -n monitoring logs deploy/<grafana-deployment> -c grafana-sc-dashboard | tail -20

サイドカーは、書き込んだファイルごとに 1 行のログを出力します。ログが 1 行もない場合は、ラベルセレクターが一致していません。ダッシュボードを更新するには、同じコマンドを再実行します。削除するには、3 つの ConfigMap を削除します。

Grafana UI でのアップロード

Grafana で Dashboards、New、Import の順に進みます。JSON ファイルをアップロードし、求められたら Prometheus のデータソースを選択します。ファイルを編集する必要はありません。

ダッシュボードの場所

組織で使用している URL で Grafana を開き、sambarack で検索します。デフォルトの kube-prometheus-stack では、ダッシュボードは SambaRack フォルダではなく General フォルダに配置されます。フォルダ設定が効くのは、サイドカーがフォルダアノテーションのオプション付きで動作している場合のみで、デフォルトのインストールではこのオプションは設定されません。

既知の制限

制限	詳細
RDU ホストはホスト名ではなく `node` ラベルで識別されます	`node` は ServiceMonitor が付与するもので、エクスポーター自身はホスト名を公開しません。`rack` は、`rackMap` を設定した場合にのみ付きます。
同梱のダッシュボードはエクスポーターをまたいだ集約をしません	フリート全体のビューを作るには、3 つすべてに `rack` を設定してください。RDU 系列には `sambanova-exporter.serviceMonitor.rackMap` を、PDU と XRDU の系列にはターゲットの `labels` を使用します。
アラートは含まれません	アラート設定に値するシグナルについては、PDU エクスポーターと XRDU エクスポーターの動作の表をご参照ください。

はじめに

サービス管理

ハードウェア管理

リファレンスアーキテクチャ

リソース

リファレンスダッシュボード

各ダッシュボードの内容

ラック電力 (`sambarack-power`)

ファンと温度 (`sambarack-thermal`)

RDU 使用率と健全性 (`sambarack-rdu`)

ダッシュボードのカスタマイズ

ダッシュボードのインストール

Helm チャートでのインストール

ConfigMap の手動作成によるインストール

Grafana UI でのアップロード

ダッシュボードの場所

既知の制限

次のステップ

​各ダッシュボードの内容

​ラック電力 (sambarack-power)

​ファンと温度 (sambarack-thermal)

​RDU 使用率と健全性 (sambarack-rdu)

​ダッシュボードのカスタマイズ

​ダッシュボードのインストール

​Helm チャートでのインストール

​ConfigMap の手動作成によるインストール

​Grafana UI でのアップロード

​ダッシュボードの場所

​既知の制限

​次のステップ

各ダッシュボードの内容

ラック電力 (`sambarack-power`)

ファンと温度 (`sambarack-thermal`)

RDU 使用率と健全性 (`sambarack-rdu`)

ダッシュボードのカスタマイズ

ダッシュボードのインストール

Helm チャートでのインストール

ConfigMap の手動作成によるインストール

Grafana UI でのアップロード

ダッシュボードの場所

既知の制限

次のステップ