Skip to main content
SambaStack では、モデル定義をプラットフォームのインフラから分離して管理します。モデルチャート (models chart, sambastack-models) は、クラスターで提供するモデル・バンドル・PEF をデプロイする Helm リリースであり、インフラチャートに同梱されるのではなく、それらと並べて個別にインストールされます。 モデルチャートはプラットフォームのインフラチャートとは別のリリースになっているため、プラットフォームに手を加えることなく提供モデルを更新でき、必要に応じて両者を互換性のある異なるバージョンに固定することもできます。
モデルチャートとインフラチャートを異なるバージョンに固定する場合は、両者に互換性があることを確認してください。互換性のあるバージョンの組み合わせは SambaNova が公開しています。

​
チャートの構成

SambaStack のデプロイメントは 3 つの Helm リリースで構成され、次の順序でインストールします。
sambastack-base → sambastack → sambastack-models の順でインストールすることを推奨します。
具体的なコマンドは、クイックスタート - オンプレミス をご参照ください。ホステッドデプロイメントでは、sambastack-installer が同じ順序で 3 つのリリースすべてを自動的にデプロイします。詳細は クイックスタート - ホステッド をご参照ください。

​
values の指定場所

モデルチャートは、sambastack.yaml とは別に独自の values を受け取ります。

​
バンドルの選択とデプロイ

チャートが何を提供するかは 2 つのキーで制御します。それぞれの役割は異なります。
  • modelBundleSpecs は、SambaStack に付属する ModelBundle リソースのうち、どれをレンダリングするかを選択します。省略するか空のままにすると、すべてがレンダリングされます。バンドルをレンダリングするとデプロイ可能な状態になりますが、デプロイそのものは行われません。
  • modelDeploymentSpecs は、レプリカグループ構成を指定してバンドルをデプロイします。
modelDeploymentSpecs[].name は ModelDeployment の名前とその spec.bundle の両方に使用されるため、ModelBundle の名前と一致している必要があります。名前が重複すると Helm のレンダリングが失敗します。
SambaNova が提供するバンドルについては、対応モデルとバンドル をご参照ください。qosList に指定する QoS タグについては、サービスティア をご参照ください。

​
設定リファレンス

以下はモデルチャート自身の values です。ホステッドではインストーラー ConfigMap の models.yaml セクションに、オンプレミスではリリースに渡す values ファイルのトップレベルに記述します。 QoS タグの詳細は、サービスティア をご参照ください。

​
アーティファクトの場所

モデルチャートは、レンダリングするリソースに文字列置換を適用します。NFS デプロイメントおよびエアギャップ環境のデプロイメントでは、モデルチャートの values に global.substitutions を設定します。

​
参考情報

SambaStack.yaml リファレンス

すべての設定キーと、各キーが属するチャート

バンドル設定の移行

このチャートがデプロイするバンドルの背後にあるリソースモデルと、その移行方法

バンドルのデプロイ

カスタムリソースを直接作成する方法

カスタムチェックポイントのデプロイ

Model リソースのリファレンスと、独自チェックポイントの提供方法