Fluent Bit によるログ転送

Fluent Bit は、SambaStack のモニタリングリファレンスアーキテクチャで使用される、軽量なログプロセッサー兼ログフォワーダー (log forwarder) です。Kubernetes ノードからコンテナログを収集し、メタデータで拡充した上で、インデックス化と検索のために OpenSearch に送信します。

リファレンスアーキテクチャに関する注意: このセットアップではサードパーティ製コンポーネントを使用しています。バージョン、デフォルト値、コマンド構文は変更される可能性があります。SambaStack に固有でない問題については、該当コンポーネントを所有するベンダーまたはプロジェクトにお問い合わせください。

前提条件

Fluent Bit をデプロイする前に、以下の環境を準備してください。

Kubernetes クラスター – SambaStack がインストール済みの稼働中クラスター
OpenSearch – monitoring 名前空間にデプロイ済みであること。詳細はログストレージ - OpenSearch をご参照ください
OpenSearch の管理者パスワード – OpenSearch のデプロイ時に設定したパスワード
Helm（最新バージョン） – Fluent Bit チャートのデプロイに使用
kubectl – 対象の Kubernetes クラスターへのアクセスが設定済みであること

Fluent Bit には、稼働中の OpenSearch インスタンスが必要です。先に OpenSearch のデプロイを完了してください。

リソース要件

以下は、Fluent Bit の最小リソース推奨値です。

コンポーネント	CPU リクエスト	メモリリクエスト	ストレージ
Fluent Bit（ノードごと）	100m	128Mi	–

Fluent Bit は DaemonSet として動作し、ノードごとに 1 つの Pod が起動します。クラスター全体のリソース消費は、ノード数に比例して増加します。

アーキテクチャ概要

SambaStack のモニタリングリファレンスアーキテクチャでは、次のように動作します。

Fluent Bit は DaemonSet として動作し、Kubernetes ノードごとに 1 つのログフォワーダーが確実に配置されます
/var/log/pods/ を通じて、すべての Pod とコンテナからログを収集します
Lua フィルターを使用して、ログに名前空間、Pod、コンテナのメタデータを付与します
ポート 9200 のセキュアな TLS 接続で、OpenSearch にログを転送します

このデプロイでは、Kubernetes の Secret に保存したカスタム Fluent Bit 設定と、カスタム values を用いた Helm ベースのインストールを使用します。

Fluent Bit のログ収集の仕組み:

Kubernetes は、各ノードの /var/log/pods/ にコンテナログを自動的に書き込みます
Fluent Bit は、DaemonSet を通じてホストのファイルシステムからこれらのログを直接読み取ります
CRI と Docker の両方のログ形式に対応するため、複数のパーサーが設定されています
Fluent Bit は、実行時に適切なパーサーを自動的に選択します
ログは Kubernetes メタデータで拡充され、OpenSearch に転送されます

デプロイ手順

ステップ 1: Helm リポジトリの追加

helm repo add fluent https://fluent.github.io/helm-charts
helm repo update

ステップ 2: OpenSearch パスワードの取得

OpenSearch のデプロイ時に作成した OpenSearch の管理者パスワードを取得します。

kubectl -n monitoring get secret opensearch-initial-admin-password -o json \
  | jq -r '.data.OPENSEARCH_INITIAL_ADMIN_PASSWORD | @base64d'

このパスワードはステップ 6 で使用するため、保存しておいてください。

ステップ 3: Lua スクリプトの作成

以下の内容を ~/.sambastack-observability/fluentbit/append_tags.lua として保存します。

function append_tags(tag, timestamp, record)
  local filename = record["filename"] or ""
  local namespace_tag = string.match(filename, "/pods/([^_]+)")
  local container_tag = string.match(filename, "/pods/.*/([^/]+)/")
  local pod_tag = string.match(filename, "/pods/[^_]+_([^_]+)")

  if namespace_tag then record["namespace"] = namespace_tag end
  if pod_tag then record["pod"] = pod_tag end
  if container_tag then record["container"] = container_tag end

  return 1, timestamp, record
end

Lua コードを別ファイルとして用意する方が、設定ファイルにインラインで埋め込むよりもエラーが起こりにくくなります。

ステップ 4: 設定ファイルの作成

以下の内容を ~/.sambastack-observability/fluentbit/fluentbit-conf.conf として保存します。

[INPUT]
  Buffer_Chunk_Size 10MB
  Buffer_Max_Size 64MB
  Exclude_Path /var/log/pods/*fluent*/*/*.log
  Log_Level info
  Mem_Buf_Limit 64MB
  Name tail
  Path /var/log/pods/*/*/*.log
  Path_Key filename
  Rotate_wait 120
  Skip_Long_Lines On
  Tag kube.*
  multiline.parser cri, docker

[FILTER]
  Match  kube.*
  Name  lua
  script /fluent-bit/sn/append_tags.lua
  call  append_tags

[FILTER]
  Key_Name  log
  Match  kube.*
  Name  parser
  Parser  json
  Reserve_Data  On

[FILTER]
  Key_Name  log
  Match  kube.*
  Name  parser
  Parser  k8s-nginx-ingress
  Reserve_Data  On

[OUTPUT]
  HTTP_Passwd  ${DEFAULT_OPENSEARCH_HTTP_PASS}
  HTTP_User  ${DEFAULT_OPENSEARCH_HTTP_USER}
  Host  ${DEFAULT_OPENSEARCH_HOST}
  Index  logs-7d
  Log_Level  info
  Match  kube.*
  Name  opensearch
  Port  ${DEFAULT_OPENSEARCH_PORT}
  Retry_Limit  False
  Suppress_Type_Name  On
  tls  On
  tls.verify  Off

[SERVICE]
  Buffer_Size 64MB
  Daemon Off
  Flush 10
  HTTP_Listen 0.0.0.0
  HTTP_Port 2020
  HTTP_Server On
  Health_Check On
  Log_Level debug
  Parsers_File /fluent-bit/etc/parsers.conf
  Trace_Error On

設定の解説

INPUT セクション: すべての Pod のログファイルを tail で読み取ります。再帰を防ぐため、Fluent Bit 自身のログは除外します。FILTER (Lua): 外部の append_tags.lua スクリプトを実行し、ログファイルのパスから名前空間、Pod 名、コンテナ名を抽出します。FILTER (parser): ログの内容を JSON または nginx ingress 形式として解析を試みます。OUTPUT: TLS を有効にして OpenSearch にログを送信します。インデックス名 logs-7d は変更可能です。SERVICE: ヘルスチェックとメトリクス用に、ポート 2020 で HTTP サーバーを有効にします。

ステップ 5: 設定用 Secret の作成

kubectl -n monitoring create secret generic sn-fluentbit \
  --from-file=sn-fluentbit.conf="$HOME/.sambastack-observability/fluentbit/fluentbit-conf.conf" \
  --from-file=append_tags.lua="$HOME/.sambastack-observability/fluentbit/append_tags.lua" \
  --dry-run=client -o yaml | kubectl apply -f -

Secret 名 sn-fluentbit は、Helm values ファイルの secretName と一致している必要があります。この名前を変更する場合は、values ファイルも合わせて更新してください。

ステップ 6: Helm values ファイルの作成

以下の内容を ~/.sambastack-observability/fluentbit/fluentbit-values.yml として保存します。

env:
- name: DEFAULT_OPENSEARCH_HOST
  value: "opensearch-cluster-master.monitoring.svc.cluster.local"
- name: DEFAULT_OPENSEARCH_PORT
  value: "9200"
- name: DEFAULT_OPENSEARCH_HTTP_USER
  value: "admin"
- name: DEFAULT_OPENSEARCH_HTTP_PASS
  valueFrom:
    secretKeyRef:
      name: opensearch-initial-admin-password
      key: OPENSEARCH_INITIAL_ADMIN_PASSWORD

securityContext:
  privileged: true

tolerations:
- operator: Exists

daemonSetVolumes:
- name: var
  hostPath:
    path: /var
- name: etcmachineid
  hostPath:
    path: /etc/machine-id
    type: File
- name: sn-fluentbit
  secret:
    secretName: sn-fluentbit

daemonSetVolumeMounts:
- name: var
  mountPath: /var
  readOnly: true
- name: etcmachineid
  mountPath: /etc/machine-id
  readOnly: true
- name: sn-fluentbit
  mountPath: /fluent-bit/sn
  readOnly: true

args:
- --workdir=/fluent-bit/etc
- --config=/fluent-bit/sn/sn-fluentbit.conf

updateStrategy:
  type: RollingUpdate
  rollingUpdate:
    maxUnavailable: 5

config:
  inputs: ""
  filters: ""
  outputs: ""

image:
  repository: fluent/fluent-bit
  tag: "4.2.2"

ステップ 7: Fluent Bit のインストール

helm -n monitoring upgrade --install fluent-bit fluent/fluent-bit \
  -f ~/.sambastack-observability/fluentbit/fluentbit-values.yml

動作確認

Pod ステータスの確認

各ノードで Fluent Bit の Pod が稼働していることを確認します。

kubectl -n monitoring get po -l app.kubernetes.io/name=fluent-bit

期待される出力（ノードごとに 1 Pod）:

NAME               READY   STATUS    RESTARTS   AGE
fluent-bit-4zh8w   1/1     Running   0          20h
fluent-bit-sdmxg   1/1     Running   0          20h

ログが OpenSearch に届いていることの確認

OpenSearch サービスにポートフォワードします。

kubectl -n monitoring port-forward svc/opensearch-cluster-master 9200:9200 &

インデックスを一覧表示し、ログが取り込まれていることを確認します。

curl -u "admin:<password>" -k "https://localhost:9200/_cat/indices?v"

期待される出力:

health status index     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   logs-7d   0ahKcye3SfajNksbfapY4w   1   1     296144            0     58.1mb         58.1mb

logs-7d インデックスが存在し、docs.count が 0 以外であれば、Fluent Bit による OpenSearch へのログ送信は成功しています。ポートフォワードのプロセスを停止するには、次を実行します。

pkill -f "port-forward.*opensearch"

サンプルログのクエリ

サンプルクエリでログの内容を確認します。

curl -u "admin:<password>" -k "https://localhost:9200/logs-7d/_search?size=1&pretty"

namespace、pod、container の各フィールドが設定されたログエントリが表示されるはずです。

成功基準

以下の条件を満たしていれば、デプロイは成功です。

Fluent Bit の DaemonSet Pod が、すべてのノードで Running 状態である
OpenSearch に logs-7d インデックスが存在し、ドキュメントが登録されている
サンプルログのクエリで、namespace/pod/container のメタデータが付与されたエントリが返される

設定リファレンス

セクション	パラメータ	説明
INPUT	`Buffer_Chunk_Size`	ログファイル読み取り時の初期バッファサイズ (10MB)
INPUT	`Buffer_Max_Size`	監視対象ファイルごとの最大バッファサイズ (64MB)
INPUT	`Mem_Buf_Limit`	バックプレッシャーが発動するまでのメモリバッファ上限 (64MB)
INPUT	`Rotate_wait`	ローテートされたファイルを読み取るまでの待機秒数 (120)
INPUT	`Exclude_Path`	除外するログの glob パターン（Fluent Bit 自身のログ）
OUTPUT	`Index`	ログの保存先となる OpenSearch インデックス名 (`logs-7d`)
OUTPUT	`tls`	OpenSearch 接続の TLS を有効化
OUTPUT	`tls.verify`	TLS 証明書の検証（自己署名証明書の場合は Off）
SERVICE	`Flush`	レコードを出力先にフラッシュする間隔（秒）(10)
SERVICE	`HTTP_Port`	Fluent Bit の HTTP サーバー（メトリクス）用ポート (2020)

トラブルシューティング

Pod が起動しない (ImagePullBackOff)

症状: Fluent Bit の Pod に ImagePullBackOff または ErrImagePull と表示される。 対処方法: クラスターがコンテナレジストリに到達できることを確認してください。ネットワークポリシーやプロキシ要件も確認してください。

OpenSearch にログが表示されない

症状: logs-7d インデックスが存在しない、またはドキュメント数が 0 である。 考えられる原因と対処方法:

OpenSearch に到達できない:

# Check Fluent Bit logs for connection errors
kubectl -n monitoring logs -l app.kubernetes.io/name=fluent-bit --tail=50

パスワードの誤り: fluentbit-values.yml のパスワードが、OpenSearch の管理者パスワードと一致していることを確認してください。

Secret がマウントされていない:

kubectl -n monitoring describe pod -l app.kubernetes.io/name=fluent-bit | grep -A5 Mounts

ログにメタデータフィールドがない

症状: OpenSearch にログは表示されるが、namespace、pod、container フィールドが欠落している。 原因: Lua フィルターがログファイルのパスを解析できていません。 対処方法: ログが想定どおりのパスパターン (/var/log/pods/*/*/*.log) から取得されていることを確認してください。

メモリ使用量が多い

症状: Fluent Bit の Pod が OOMKilled になる、またはメモリ消費が多い。 対処方法: 設定でバッファサイズを削減します。

[INPUT]
  Buffer_Chunk_Size 5MB
  Buffer_Max_Size 32MB
  Mem_Buf_Limit 32MB

次のステップ

Fluent Bit によるログ転送が始まったら、次に進みます。

Prometheus と Grafana のデプロイ – ログの可視化ダッシュボードを追加します。詳細は Prometheus と Grafana による監視をご参照ください。
Grafana でのログ探索 – OpenSearch データソースを含む Grafana をデプロイすると、Explore 機能でログのクエリと可視化ができるようになります。

クリーンアップ

クラスターから Fluent Bit を削除するには、以下を実行します。 Helm リリースをアンインストールします。

helm uninstall fluent-bit -n monitoring

設定用 Secret を削除します。

kubectl delete secret sn-fluentbit -n monitoring

Fluent Bit を削除するとログ転送は停止しますが、OpenSearch 内の既存ログは削除されません。過去のログを削除するには、OpenSearch でインデックスを直接削除するか、インデックスライフサイクルポリシーによってデータが失効するのを待ちます。

はじめに

サービス管理

ハードウェア管理

リファレンスアーキテクチャ

リソース

前提条件

リソース要件

アーキテクチャ概要

デプロイ手順

ステップ 1: Helm リポジトリの追加

ステップ 2: OpenSearch パスワードの取得

ステップ 3: Lua スクリプトの作成

ステップ 4: 設定ファイルの作成

ステップ 5: 設定用 Secret の作成

ステップ 6: Helm values ファイルの作成

ステップ 7: Fluent Bit のインストール

動作確認

Pod ステータスの確認

ログが OpenSearch に届いていることの確認

サンプルログのクエリ

成功基準

設定リファレンス

トラブルシューティング

Pod が起動しない (ImagePullBackOff)

OpenSearch にログが表示されない

ログにメタデータフィールドがない

メモリ使用量が多い

次のステップ

クリーンアップ

​前提条件

​リソース要件

​アーキテクチャ概要

​デプロイ手順

​ステップ 1: Helm リポジトリの追加

​ステップ 2: OpenSearch パスワードの取得

​ステップ 3: Lua スクリプトの作成

​ステップ 4: 設定ファイルの作成

​ステップ 5: 設定用 Secret の作成

​ステップ 6: Helm values ファイルの作成

​ステップ 7: Fluent Bit のインストール

​動作確認

​Pod ステータスの確認

​ログが OpenSearch に届いていることの確認

​サンプルログのクエリ

​成功基準

​設定リファレンス

​トラブルシューティング

​Pod が起動しない (ImagePullBackOff)

​OpenSearch にログが表示されない

​ログにメタデータフィールドがない

​メモリ使用量が多い

​次のステップ

​クリーンアップ

前提条件

リソース要件

アーキテクチャ概要

デプロイ手順

ステップ 1: Helm リポジトリの追加

ステップ 2: OpenSearch パスワードの取得

ステップ 3: Lua スクリプトの作成

ステップ 4: 設定ファイルの作成

ステップ 5: 設定用 Secret の作成

ステップ 6: Helm values ファイルの作成

ステップ 7: Fluent Bit のインストール

動作確認

Pod ステータスの確認

ログが OpenSearch に届いていることの確認

サンプルログのクエリ

成功基準

設定リファレンス

トラブルシューティング

Pod が起動しない (ImagePullBackOff)

OpenSearch にログが表示されない

ログにメタデータフィールドがない

メモリ使用量が多い

次のステップ

クリーンアップ