vCluster と Envoy Gateway はサードパーティ製品です。SambaNova はこれらの保守・推奨・監査を行っていません。本リファレンスアーキテクチャは情報提供を目的としており、これらの製品の変更に伴い内容が古くなる可能性があります。
検証済みの構成: SambaStack 2.3.2、RKE2 v1.35.5、vCluster Helm チャート 0.35.4 (オープンソース版イメージ)、テナント Kubernetes v1.35.0、Envoy Gateway v1.9.1。
アーキテクチャ
各要素は次のように連携します。- 確保。 ホストの RDU ノードに
vcluster=tenant1のラベルを付与します。テナントのノード同期セレクタがこのラベルに一致するため、テナントには自分のノードだけが見えます。また syncer は、ホストへコピーするすべての Pod に同じノードセレクタを設定します。 - 制御トラフィック。
kubectlは、ゲートウェイの NodePort 上のテナントホスト名に接続します。ゲートウェイは SNI のホスト名を読み取り、接続を暗号化されたままテナントの API サーバーの Service に引き渡します。テナントの API 証明書には、このホスト名が含まれています。 - Pod。 テナントは、自身の API サーバー内で Pod を作成します。syncer はそれらを、名前を書き換えたうえでホストの Namespace
vcluster-tenant1にコピーします。テナント自身のスケジューラーは無効化されているため、配置はホストのスケジューラーが行います。 - ログと exec。 vCluster の syncer が、これらの要求を同期済み Pod に対するホスト API サーバーへの要求として転送します。ノード上のエージェントは不要です。
- Pod ネットワーク。 テナントの Pod は、ホストの CNI と、ホストの Pod CIDR・Service CIDR を使用します。
- アプリケーショントラフィック。 テナントの Ingress オブジェクトはホストに同期され、ホストの ingress コントローラーがそれらを処理します。
前提条件
ホストクラスター側 (セットアップは 1 回のみ):- SambaStack の オンプレミス要件 を満たすホストクラスター。RDU ノードには、同ガイドの説明どおり
snRduArch=sn40-16のラベルが付与済みであること。 - テナントのコントロールプレーン用に、
control-plane=sharedのラベルを付けた CPU ノードプール。これがないと、テナントの API サーバーと etcd の Pod はPendingのままになります。 - テナントのコントロールプレーンの状態を保存するストレージクラス。本リファレンスでは
openebs-hostpathを使用します。 - TLS を終端せずに、SNI のホスト名で TLS をルーティングできるゲートウェイまたはロードバランサー。本リファレンスでは Envoy Gateway を使用します。パススルーモードの NGINX や HAProxy でも構いません。
- ゲートウェイに解決される、テナントごとの DNS 名 (例:
tenant1-api.example.com)。
Ready状態で、他のテナント用にラベル付けされていない RDU ワーカーノード 1 台以上。- テナントの SambaStack API と UI 用の、一意のホスト名と TLS 証明書 (オンプレミス要件と同様)。
kubectl、helm v3.19 以上、および vCluster CLI。
コンポーネント
テナントのセットアップ
特に記載がない限り、コマンドはホストクラスターに対して実行します。tenant1、vcluster-tenant1、tenant1-api.example.com、<rdu-node> はテナントの値に置き換えてください。
Envoy Gateway は本リファレンスの検証に使用したゲートウェイであり、必須ではありません。TLS を終端せずに SNI のホスト名でルーティングできるゲートウェイまたはロードバランサーであれば、代わりに使用できます。ステップ 1 と 2 は Envoy Gateway に固有の手順で、ステップ 4 の
controlPlane.tlsRoute は Gateway API の TLSRoute を作成します。Gateway API を実装していないゲートウェイを使う場合は、tlsRoute を省略し、そのゲートウェイ自身の設定で、テナントのホスト名を tenant1 Service のポート 443 にルーティングしてください。TLS パススルーリスナーの作成 (ホストごとに 1 回)
パススルーモードのリスナーをポート 8443 に 1 つ作成し、NodePort 30843 として公開します。すべてのテナント API がこのリスナーを共有し、ホスト名でルーティングされます。
gateway.yaml
テナントの vCluster values の作成
この設計の要となる設定は次のとおりです。
vcluster.yaml
PodNodeSelector と PodTolerationRestriction を使うと、Namespace のアノテーションを通じて、テナントの Namespace を特定のノードや toleration に固定できます。これらは任意です。ノード同期セレクタだけでも、テナントの Pod はラベル付きノードに限定されます。テナントのインストール
tenant1-etcd-0 が起動します。API サーバーと syncer を実行する tenant1-0 は、インストールから 1 分ほどで Running になります。動作確認
テナント側から:テナントへの SambaStack のインストール
テナントの kubeconfig を使い (export KUBECONFIG=tenant1.kubeconfig)、標準の オンプレミスクイックスタート に従って SambaStack をインストールします。通常のインストールと異なるのは、次の 2 点だけです。
- クイックスタートのノードラベル付与の手順はスキップします。
snRduArch=sn40-16のラベルはホスト側で設定済みであり、ノード同期を通じてテナントに届きます。 - Ingress と DNS。 テナントの Ingress オブジェクトはホストに同期され、ホストの ingress コントローラーが処理します。テナントの API と UI のホスト名はホストの ingress に向け、テナント間で一意に保ってください。クイックスタートの要件どおり、これらのホスト名はテナントの内側からも名前解決できる必要があり、TLS 証明書は信頼された認証局 (CA) が発行したものである必要があります。
vcluster-tenant1 に表示され、すべてテナントのラベル付きノード上で動作しています (kubectl -n vcluster-tenant1 get pods -o wide)。
制限事項
vcluster=tenant1ラベルはスケジューリングルールであり、セキュリティ境界ではありません。自身の仮想クラスターへの cluster-admin アクセス権を持つテナントは、ホストのカーネル・CNI・kubelet を共有します。そのようなテナントには、プライベートノード を使用してください。- SambaStack のプラットフォームサービスはテナントの RDU ノード上で動作するため、それらのノードのメンテナンス中は、テナントの API・UI・ログインが中断されます。両者を分離するには、専用の CPU ノードを使う プライベートノード を使用してください。
- ホスト管理者からは、ホストの Namespace 内にテナントの Pod が見えます。また、監視エージェントなどのホストの DaemonSet は、テナントのノード上でも動作します。
syncBackChanges: trueにすると、テナントの管理者は、自身のホストノードのラベルと taint を編集できます。本リファレンスではfalseに設定しています。values のステップにある警告をご参照ください。- テナントの Pod は、ホストの Pod ネットワークを共有します。テナント間のトラフィックを制限するには、各テナントのホスト側 Namespace に
NetworkPolicyリソースを適用するか、sync.toHost.networkPoliciesを有効にしてテナント自身に管理させてください。 - 本リファレンスでは、API サーバーと etcd をそれぞれ 1 レプリカで、ホストパスのストレージ上で実行します。本番環境では、
highAvailability.replicasを増やし、etcd のボリュームをバックアップしてください。 - テナント API には、1 つのホストノード IP 上の 1 つの NodePort を通じて到達します。本番環境では、ホストノードの前段に VIP またはロードバランサーを配置してください。
クリーンアップ
retentionPolicy: Delete を設定しているため、コントロールプレーンのボリュームとテナントのすべての状態は、Helm リリースと一緒に削除されます。ゲートウェイは他のテナントのために残ります。

