- RDU の利用状況の把握。RDU ごとのタイルのアクティビティを監視して、空きキャパシティの発見、ノード・ラック間のワークロードの平準化、キャパシティプランニングに役立てられます。
- 障害 (fault) とエラーの早期検知。RDU ごとのプラットフォーム障害数とエラー数を追跡し、増加時にアラートを発報することで、故障に至ってからではなく早期の兆候の段階で対処できます。
- ハードウェアの温度を安全な範囲に維持。ラック全体の温度とファン速度を追跡し、スロットリングやハードウェアへの負荷が生じる前に冷却の問題を検出できます。
- ラックの消費電力の把握。ラック全体の消費電力を追跡して、エネルギー使用量を把握し、電源と冷却のキャパシティを計画できます。
ハードウェア監視とは
ハードウェア監視は、SambaRack を構成する物理インフラ、すなわち PDU、ベースボード管理コントローラー (Baseboard Management Controller; BMC)、そして RDU 自体からテレメトリを収集します。ハードウェア監視が答えるのは、マシンそのものに関する疑問です。
この 2 つは、別々のエクスポーターが生成する別々のシグナルセットですが、Prometheus と Grafana は 1 つを共有します。これは意図的な設計です。実際のインシデントの多くは、両方を同時に見ることで診断されるためです。
コンポーネント
アーキテクチャ
target クエリパラメータでデバイスを指定します (/probe?target=<address>)。ラックを追加するときは、そのデバイスアドレスを values ファイルに追加して helm upgrade を実行するだけです。エクスポーター自体に変更は不要です。
運用モデル
- Prometheus ネイティブ — エクスポーターは、標準の Prometheus exposition format (テキスト形式) でメトリクスを公開します。この形式を読み取れるスクレイパーであれば、どれでも収集できます。
- Kubernetes ネイティブなデプロイ — チャートは prometheus-operator の CRD (
Probe、ServiceMonitor) を使用し、kube-prometheus-stackの values の慣例に従います。 - お客様による運用 — スタックのインストール・アップグレード・運用はお客様が行います。SambaNova は、エクスポーター、チャート、リファレンスアーキテクチャ、ダッシュボードを提供します。
- ダッシュボードは出発点 — 同梱の 3 つのダッシュボードは、メトリクスの使い方を示すためのものです。必要なパネルを、チームで既に運用しているダッシュボードにコピーしてご利用ください。
他の監視プラットフォームとの連携
エクスポーターに Prometheus 専有の要素はありません。チャートの中で Prometheus に固有なのは
Probe と ServiceMonitor のオブジェクトで、これらは無効のままにしておくこともできます。