メインコンテンツへスキップ
vCluster と Envoy Gateway はサードパーティ製品です。SambaNova はこれらの保守・推奨・監査を行っていません。本リファレンスアーキテクチャは情報提供を目的としており、これらの製品の変更に伴い内容が古くなる可能性があります。
共有ノードモデルでは、テナントの RDU ノードはホストクラスターのメンバーのままです。各ノードを 1 つのテナント用にラベル付けすると、vCluster はテナントにそのノードだけを見せ、テナントの Pod をそこにだけ配置します。テナントのコントロールプレーンは、ホストの CPU ノードプール上の Pod として動作します。RDU ノードには何もインストールされません。 このモデルは、組織内の信頼できるテナントに使用してください。外部のテナントや信頼できないテナントには、プライベートノード を使用します。両モデルの比較は 概要 をご参照ください。
検証済みの構成: SambaStack 2.3.2、RKE2 v1.35.5、vCluster Helm チャート 0.35.4 (オープンソース版イメージ)、テナント Kubernetes v1.35.0、Envoy Gateway v1.9.1。

アーキテクチャ

各要素は次のように連携します。
  1. 確保。 ホストの RDU ノードに vcluster=tenant1 のラベルを付与します。テナントのノード同期セレクタがこのラベルに一致するため、テナントには自分のノードだけが見えます。また syncer は、ホストへコピーするすべての Pod に同じノードセレクタを設定します。
  2. 制御トラフィック。 kubectl は、ゲートウェイの NodePort 上のテナントホスト名に接続します。ゲートウェイは SNI のホスト名を読み取り、接続を暗号化されたままテナントの API サーバーの Service に引き渡します。テナントの API 証明書には、このホスト名が含まれています。
  3. Pod。 テナントは、自身の API サーバー内で Pod を作成します。syncer はそれらを、名前を書き換えたうえでホストの Namespace vcluster-tenant1 にコピーします。テナント自身のスケジューラーは無効化されているため、配置はホストのスケジューラーが行います。
  4. ログと exec。 vCluster の syncer が、これらの要求を同期済み Pod に対するホスト API サーバーへの要求として転送します。ノード上のエージェントは不要です。
  5. Pod ネットワーク。 テナントの Pod は、ホストの CNI と、ホストの Pod CIDR・Service CIDR を使用します。
  6. アプリケーショントラフィック。 テナントの Ingress オブジェクトはホストに同期され、ホストの ingress コントローラーがそれらを処理します。

前提条件

ホストクラスター側 (セットアップは 1 回のみ):
  • SambaStack の オンプレミス要件 を満たすホストクラスター。RDU ノードには、同ガイドの説明どおり snRduArch=sn40-16 のラベルが付与済みであること。
  • テナントのコントロールプレーン用に、control-plane=shared のラベルを付けた CPU ノードプール。これがないと、テナントの API サーバーと etcd の Pod は Pending のままになります。
  • テナントのコントロールプレーンの状態を保存するストレージクラス。本リファレンスでは openebs-hostpath を使用します。
  • TLS を終端せずに、SNI のホスト名で TLS をルーティングできるゲートウェイまたはロードバランサー。本リファレンスでは Envoy Gateway を使用します。パススルーモードの NGINX や HAProxy でも構いません。
  • ゲートウェイに解決される、テナントごとの DNS 名 (例: tenant1-api.example.com)。
テナントごと:
  • Ready 状態で、他のテナント用にラベル付けされていない RDU ワーカーノード 1 台以上。
  • テナントの SambaStack API と UI 用の、一意のホスト名と TLS 証明書 (オンプレミス要件と同様)。
オペレーターのマシン上: kubectl、helm v3.19 以上、および vCluster CLI。

コンポーネント

テナントのセットアップ

特に記載がない限り、コマンドはホストクラスターに対して実行します。tenant1、vcluster-tenant1、tenant1-api.example.com、<rdu-node> はテナントの値に置き換えてください。
Envoy Gateway は本リファレンスの検証に使用したゲートウェイであり、必須ではありません。TLS を終端せずに SNI のホスト名でルーティングできるゲートウェイまたはロードバランサーであれば、代わりに使用できます。ステップ 1 と 2 は Envoy Gateway に固有の手順で、ステップ 4 の controlPlane.tlsRoute は Gateway API の TLSRoute を作成します。Gateway API を実装していないゲートウェイを使う場合は、tlsRoute を省略し、そのゲートウェイ自身の設定で、テナントのホスト名を tenant1 Service のポート 443 にルーティングしてください。
1

ゲートウェイのインストール (ホストごとに 1 回)

2

TLS パススルーリスナーの作成 (ホストごとに 1 回)

パススルーモードのリスナーをポート 8443 に 1 つ作成し、NodePort 30843 として公開します。すべてのテナント API がこのリスナーを共有し、ホスト名でルーティングされます。
gateway.yaml
3

テナントの RDU ノードへのラベル付与

4

テナントの vCluster values の作成

この設計の要となる設定は次のとおりです。
vcluster.yaml
PodNodeSelector と PodTolerationRestriction を使うと、Namespace のアノテーションを通じて、テナントの Namespace を特定のノードや toleration に固定できます。これらは任意です。ノード同期セレクタだけでも、テナントの Pod はラベル付きノードに限定されます。
テナントの内側からノードにラベルを付与するツール (たとえばランタイムのローリングアップグレードをノード単位で進めるもの) を使うには、syncBackChanges: true が必要です。ただしこの設定を有効にすると、テナントの管理者は、自身を閉じ込めている vcluster ラベルを含め、自身のホストノードの任意のラベルや taint を変更・削除できるようになります。自身のノードの管理を任せられる、信頼できるテナントに限って有効化し、テナントの cluster-admin 権限の kubeconfig はプラットフォームチームが保持してください。
5

テナントのインストール

最初に tenant1-etcd-0 が起動します。API サーバーと syncer を実行する tenant1-0 は、インストールから 1 分ほどで Running になります。
6

DNS の作成と接続

tenant1-api.example.com を、ホストノードの IP またはその前段の VIP (仮想 IP) に解決する DNS レコードを作成します。次に、ゲートウェイの NodePort を指すテナント kubeconfig を書き出します。
kubectl get nodes は、vcluster=tenant1 のラベルが付いたノードだけを返します。
この kubeconfig には、テナントの cluster-admin クライアント証明書が含まれています。パスワードと同様に厳重に扱ってください。ホストクラスターにアクセスできる人は誰でも、同じコマンドで kubeconfig を生成できます。

動作確認

テナント側から:
ホスト側から:
ホストの Namespace には、CPU プール上のコントロールプレーン Pod と、ラベル付き RDU ノード上の同期済みテナント Pod (名前は書き換え済み) が表示されます。

テナントへの SambaStack のインストール

テナントの kubeconfig を使い (export KUBECONFIG=tenant1.kubeconfig)、標準の オンプレミスクイックスタート に従って SambaStack をインストールします。通常のインストールと異なるのは、次の 2 点だけです。
  • クイックスタートのノードラベル付与の手順はスキップします。 snRduArch=sn40-16 のラベルはホスト側で設定済みであり、ノード同期を通じてテナントに届きます。
  • Ingress と DNS。 テナントの Ingress オブジェクトはホストに同期され、ホストの ingress コントローラーが処理します。テナントの API と UI のホスト名はホストの ingress に向け、テナント間で一意に保ってください。クイックスタートの要件どおり、これらのホスト名はテナントの内側からも名前解決できる必要があり、TLS 証明書は信頼された認証局 (CA) が発行したものである必要があります。
ホスト側からは、テナントの Pod は名前が書き換えられた状態で vcluster-tenant1 に表示され、すべてテナントのラベル付きノード上で動作しています (kubectl -n vcluster-tenant1 get pods -o wide)。

制限事項

  • vcluster=tenant1 ラベルはスケジューリングルールであり、セキュリティ境界ではありません。自身の仮想クラスターへの cluster-admin アクセス権を持つテナントは、ホストのカーネル・CNI・kubelet を共有します。そのようなテナントには、プライベートノード を使用してください。
  • SambaStack のプラットフォームサービスはテナントの RDU ノード上で動作するため、それらのノードのメンテナンス中は、テナントの API・UI・ログインが中断されます。両者を分離するには、専用の CPU ノードを使う プライベートノード を使用してください。
  • ホスト管理者からは、ホストの Namespace 内にテナントの Pod が見えます。また、監視エージェントなどのホストの DaemonSet は、テナントのノード上でも動作します。
  • syncBackChanges: true にすると、テナントの管理者は、自身のホストノードのラベルと taint を編集できます。本リファレンスでは false に設定しています。values のステップにある警告をご参照ください。
  • テナントの Pod は、ホストの Pod ネットワークを共有します。テナント間のトラフィックを制限するには、各テナントのホスト側 Namespace に NetworkPolicy リソースを適用するか、sync.toHost.networkPolicies を有効にしてテナント自身に管理させてください。
  • 本リファレンスでは、API サーバーと etcd をそれぞれ 1 レプリカで、ホストパスのストレージ上で実行します。本番環境では、highAvailability.replicas を増やし、etcd のボリュームをバックアップしてください。
  • テナント API には、1 つのホストノード IP 上の 1 つの NodePort を通じて到達します。本番環境では、ホストノードの前段に VIP またはロードバランサーを配置してください。

クリーンアップ

retentionPolicy: Delete を設定しているため、コントロールプレーンのボリュームとテナントのすべての状態は、Helm リリースと一緒に削除されます。ゲートウェイは他のテナントのために残ります。

参考情報