> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sambanova.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 監視の概要

SambaRack のハードウェア監視は、ラックの物理的な状態を報告します。対象は、電源分配ユニット (Power Distribution Unit; PDU) での消費電力、各 XRDU のファン速度と温度、各ホストモジュール上の RDU の使用率と健全性です。メトリクスにはノードとラックのラベルが付与されるため、フリート全体を俯瞰することも、単一の RDU まで掘り下げることもできます。

* **RDU の利用状況の把握**。RDU ごとのタイルのアクティビティを監視して、空きキャパシティの発見、ノード・ラック間のワークロードの平準化、キャパシティプランニングに役立てられます。
* **障害 (fault) とエラーの早期検知**。RDU ごとのプラットフォーム障害数とエラー数を追跡し、増加時にアラートを発報することで、故障に至ってからではなく早期の兆候の段階で対処できます。
* **ハードウェアの温度を安全な範囲に維持**。ラック全体の温度とファン速度を追跡し、スロットリングやハードウェアへの負荷が生じる前に冷却の問題を検出できます。
* **ラックの消費電力の把握**。ラック全体の消費電力を追跡して、エネルギー使用量を把握し、電源と冷却のキャパシティを計画できます。

## ハードウェア監視とは

ハードウェア監視は、SambaRack を構成する物理インフラ、すなわち PDU、ベースボード管理コントローラー (Baseboard Management Controller; BMC)、そして RDU 自体からテレメトリを収集します。ハードウェア監視が答えるのは、マシンそのものに関する疑問です。

| レイヤー | 答えられる疑問 | 情報の出所 |
| :- | :- | :- |
| ハードウェア | このラックは回路の許容値を超える電力を消費していないか。ファンが故障しかけていないか。 | 本セクションの各ページで説明するハードウェアエクスポーター |
| ワークロード | 推論が遅くないか。キューが伸びていないか。どのモデルエンドポイントがエラーを出しているか。 | [SambaStack の監視と可観測性](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/reference-architecture/observability/overview.md) |

この 2 つは、別々のエクスポーターが生成する別々のシグナルセットですが、Prometheus と Grafana は 1 つを共有します。これは意図的な設計です。実際のインシデントの多くは、両方を同時に見ることで診断されるためです。

## コンポーネント

| コンポーネント | ツール | 説明 |
| :- | :- | :- |
| RDU メトリクス | [SambaNova エクスポーター](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/exporter-sambanova.md) | 各ホストモジュールから RDU の健全性とスループットを報告します。 |
| 電力メトリクス | [PDU エクスポーター](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/exporter-pdu.md) | ラックの PDU から消費電力を報告します。 |
| サーマルメトリクス | [XRDU エクスポーター](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/exporter-xrdu.md) | XRDU の BMC からファン速度と温度を報告します。 |
| デプロイ | [`sambanova-hardware-monitoring` Helm チャート](monitoring-install) | エクスポーターをデプロイし、Prometheus からスクレイプできるようにします。デフォルトでダッシュボードもインストールします。 |
| 可視化 | [リファレンスダッシュボード](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/monitoring-reference-dashboards.md) | エクスポーターごとに 1 つ、計 3 つの Grafana ダッシュボードの例です。 |

## アーキテクチャ

```text theme={}
                            VISUALIZATION
+---------------------------------------------------------------------+
|                               Grafana                               |
|                            (Dashboards)                             |
+---------------------------------------------------------------------+
                                  |
                                  v
+---------------------------------------------------------------------+
|                             Prometheus                              |
|                 (kube-prometheus-stack, in cluster)                 |
+---------------------------------------------------------------------+
      | ServiceMonitor          | Probe                   | Probe
      v                         v                         v
+-----------------+   +---------------------+   +---------------------+
|    SambaNova    |   |    PDU exporter     |   |    XRDU exporter    |
|  exporter :9101 |   |        :9820        |   |        :9821        |
| (host, systemd) |   |    (Deployment)     |   |    (Deployment)     |
+-----------------+   +---------------------+   +---------------------+
      | local                   | management net          | management net
      v                         v                         v
+-----------------+   +---------------------+   +---------------------+
|  RDUs on the    |   |      Rack PDUs      |   |      XRDU BMCs      |
|  host module    |   |                     |   |                     |
+-----------------+   +---------------------+   +---------------------+
|                  SAMBARACK HARDWARE                                 |
+---------------------------------------------------------------------+
```

SambaNova エクスポーターは、監視対象のマシン上で動作するホストプロセスです。Prometheus は、node exporter と同様に各ホストを直接スクレイプします。

PDU エクスポーターと XRDU エクスポーターは、**マルチターゲット** (multi-target) 型のエクスポーターです。PDU や BMC にはエージェントを動かすオペレーティングシステムがないため、1 つのエクスポータープロセスがすべてのデバイスの代わりに応答します。Prometheus は、各スクレイプの `target` クエリパラメータでデバイスを指定します (`/probe?target=<address>`)。ラックを追加するときは、そのデバイスアドレスを values ファイルに追加して `helm upgrade` を実行するだけです。エクスポーター自体に変更は不要です。

## 運用モデル

* **Prometheus ネイティブ** — エクスポーターは、標準の Prometheus exposition format (テキスト形式) でメトリクスを公開します。この形式を読み取れるスクレイパーであれば、どれでも収集できます。
* **Kubernetes ネイティブなデプロイ** — チャートは prometheus-operator の CRD (`Probe`、`ServiceMonitor`) を使用し、`kube-prometheus-stack` の values の慣例に従います。
* **お客様による運用** — スタックのインストール・アップグレード・運用はお客様が行います。SambaNova は、エクスポーター、チャート、リファレンスアーキテクチャ、ダッシュボードを提供します。
* **ダッシュボードは出発点** — 同梱の 3 つのダッシュボードは、メトリクスの使い方を示すためのものです。必要なパネルを、チームで既に運用しているダッシュボードにコピーしてご利用ください。

## 他の監視プラットフォームとの連携

| プラットフォーム | サポート状況 |
| :- | :- |
| Prometheus と Grafana | サポート対象です。これがリファレンス実装です。 |
| OpenTelemetry | エクスポーターは OTEL 互換であり、OTEL コレクターからネイティブにスクレイプできます。Helm チャートには OTEL の CRD が含まれないため、エクスポーターの Service に対するコレクターのスクレイプ設定はご自身で記述してください。 |
| Zabbix、Datadog、Splunk など | 現時点でパッケージ化された連携はありません。お使いのコレクターを、エクスポーターのエンドポイントまたは Prometheus の `remote_write` に向けてください。 |

エクスポーターに Prometheus 専有の要素はありません。チャートの中で Prometheus に固有なのは `Probe` と `ServiceMonitor` のオブジェクトで、これらは無効のままにしておくこともできます。

## 前提条件

監視スタックをまだインストールしていない場合は、先に [Prometheus と Grafana のリファレンスアーキテクチャ](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/reference-architecture/observability/monitoring-prom.md) に従って Prometheus と Grafana をセットアップしてください。

| 要件 | 説明 |
| :- | :- |
| Kubernetes クラスター | 1.35 以降 |
| Helm 3 | Helm 2 では OCI チャートをインストールできません |
| prometheus-operator の CRD | `Probe` と `ServiceMonitor`。`kube-prometheus-stack` が提供します。 |
| 稼働中の Prometheus | チャートのオブジェクトをラベルで選択できる必要があります。[監視のインストール](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/monitoring-install.md) をご参照ください。 |
| Grafana | リファレンスダッシュボードを使う場合のみ |
| ネットワーク経路 | PDU エクスポーターと XRDU エクスポーターのための、クラスターノードから管理ネットワークへの経路 |
| SambaRack Manager (`snctl`) | デバイスアドレスと XRDU の BMC パスワードを提供します。[SambaRack Manager の概要](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/srm-overview.md) をご参照ください。 |
| SambaNova Runtime | 各ホストモジュール上に 1.26.3-1 以降。`sambanova-runtime-exporter` パッケージを同梱しています。 |
| レジストリ認証情報 | サービスアカウントキーについては SambaNova にお問い合わせください。 |

## 次のステップ

ハードウェア監視は、接続環境とエアギャップ環境のどちらのインストールにも対応しています。[監視のインストール](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/monitoring-install.md) では、すべてのホストモジュールで SambaNova エクスポーターを有効化するところから、両方の手順を順に解説します。

インストールの前に、クラスターノードから管理ネットワーク上の PDU と XRDU の BMC に到達できることを確認してください。[デバイスへの到達性](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/monitoring-troubleshooting.md#デバイスへの到達性) をご参照ください。

* [監視のインストール](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/monitoring-install.md)
* [SambaNova エクスポーター](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/exporter-sambanova.md)、[PDU エクスポーター](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/exporter-pdu.md)、[XRDU エクスポーター](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/exporter-xrdu.md)
* [リファレンスダッシュボード](https://docs.sambanova.ai/docs/ja/v2.2.6/sambastack/hardware-admin/sambarack-manager/monitoring/monitoring-reference-dashboards.md)
