Skip to main content

​
ハードウェア

BMC (Baseboard Management Controller) ベースボード管理コントローラー (Baseboard Management Controller; BMC) は、XRDU やホストなどのシステムの物理状態をリモートで監視・管理する専用のサービスプロセッサです。 Core Services Rack (CSR) SambaRack デプロイメントのスイッチングおよび管理インフラを収容するラックです。具体的な内容物は、設置サイトの条件と製品によって異なります。 RDU (Reconfigurable Dataflow Unit) SambaNova 独自の AI プロセッサです。RDU はデータフローを活用して演算処理の「組み立てライン」を構成し、他のソリューションが直面するメモリボトルネックを解消することで、AI をより高速、より効率的、よりスケーラブルにします。RDU は動的に再構成できるため、1 台の SambaRack システムで複数のモデルと構成を実行し、モデル間の高速な切り替えを実現できます。詳細は Dataflow Architecture（英語）をご覧ください。 RDU-C (RDU コントローラー) 各 XRDU モジュール内の管理コンポーネントで、BMC とともに RDU の動作を制御します。 SambaRack ノード Reconfigurable Dataflow Unit (RDU) を搭載して構築された、単一の SambaNova システムです。 SambaRack SN40L-16 第 4 世代の SambaNova システムで、8 つの XRDU モジュールに 16 個の SN40L RDU を搭載しています。 SN40L-H ホストモジュール ホストモジュールは、Red Hat Enterprise Linux を実行する x86 ベースのサーバーで、SambaRack ノードの運用を管理し、ラックのコンピュートリソースへの主要なインターフェイスを提供します。 XRDU RDU、メモリ、ネットワークインターフェイスなどのコンポーネントを収容するハードウェアモジュールを指す、世代に依存しない用語です。8 つの XRDU モジュールで 1 台の SambaRack SN40L-16 ノードを構成し、ノードあたり合計 16 個の RDU を搭載します。

​
プラットフォームとソフトウェア

SNFM (SambaNova Fault Management) SambaRack システム上のシステムエラーおよび障害イベントを報告・診断・分析するためのフレームワークです。 SambaNova Runtime SN40L-H ホストモジュールにインストールされるソフトウェアで、推論リクエストの実行、データ転送、ハードウェアコンポーネントの管理、エラー処理とリソース割り当てを担います。 SambaRack Manager オンプレミスの SambaRack デプロイメントのハードウェアを一元管理するためのツールで、ラック、ノード、デバイス、グループの各レベルでの操作を可能にします。SambaRack Manager は、Kubernetes や SambaStack ソフトウェアの管理には使用しません。

​
デプロイメントとモデル

バンドルデプロイメント (Bundle deployment) SambaRack ノードにデプロイされるモデルのセットです。同じデプロイメントを 1 つ以上のノードに適用できますが、各ノードで同時に実行できるデプロイメントは 1 つだけです。1 つの SambaStack インスタンスには、複数のデプロイメントを含めることができます。 チェックポイント (Checkpoint) モデルの状態を保存したスナップショットです。主にモデルの重みで構成され、そのほかにアーキテクチャを記述する設定ファイルと、テキスト入出力を処理するトークナイザーファイルを含みます。 カスタムチェックポイント (Custom checkpoint) ユーザーが用意したファインチューニング済みまたはカスタムのモデル重みです。チェックポイント変換パッケージ で変換した後、モデルバンドルの一部としてデプロイします。 推論キャッシュ Pod (Inference cache pod) 推論時のモデル読み込み時間を短縮するために、モデルアーティファクト (PEF とチェックポイント) を事前に読み込んでキャッシュする Kubernetes の Pod です。 Legalizer デプロイを進める前に、モデルバンドル構成が SambaRack ノードの DDR メモリ制約に収まることを検証するバリデーションプロセスです。 モデルバンドル (Model bundle) 1 つのデプロイメントで実行するために組み合わされた、モデル構成のグループです。バンドルは特定の構成 (PEF) とチェックポイントで構成され、重みを再読み込みすることなく、モデルや構成を高速に切り替えられるようにします。 モデルマニフェスト (Model manifest) チェックポイントを SambaStack に登録する Kubernetes のリソース定義です。API リクエストでモデルを識別するために使用される、サービング名、所有者、エイリアス、トークナイザー設定を含みます。 PEF RDU 上での実行に最適化されたコンパイル済みのモデルバイナリで、特定の 1 つまたは複数のモデル構成を表します。

​
推論とパフォーマンス

バッチサイズ (Batch size) 1 回の推論パスで同時に処理されるリクエストの数です。バッチサイズが小さいほどリクエストあたりのトークンスループットが高くなり、大きいほど多数の同時ユーザーに対する同時実行性が向上します。 エキスパート (Expert) デプロイ済みバンドル内で、特定のシーケンス長プロファイル (4K、8K、16K、32K、128K など) に紐付けられたモデルインスタンスです。エキスパートと特定のバッチサイズの組み合わせが、所定のシーケンス長と同時実行レベルにおけるモデル実行の完全なランタイム構成を定義します。 ゲートウェイ (Gateway) ユーザーからの推論リクエストを受信し、処理と負荷分散のために推論ルーターへルーティングする API ゲートウェイマイクロサービスです。 推論オペレーター (Inference operator) 推論エンジンと推論キャッシュ Pod のライフサイクルをオーケストレーションする Kubernetes コントローラーです。また、モデルのメタデータとサービスティア情報を他のコンポーネントに提供する、中央のモデルデータベースとしても機能します。 推論ルーター (Inference router) リクエストのバッチ処理とルーティングを管理するマイクロサービスです。モデルの可用性とキューの状態に基づいて、利用可能な推論 Pod に推論ワークロードを分散します。 シーケンス長 (Sequence length) モデルが 1 回のリクエストで処理・生成できる入力および出力トークンの最大数です。一般的な値は 4K、8K、16K、32K、64K、128K トークンです。 推論エンジン (Inference Engine) 特定のデプロイ済みモデルの推論リクエストを処理するマイクロサービスです。推論エンジンは、アイドル (idle)、ビジー (busy)、ドレイン中 (draining)、異常 (unhealthy) のいずれかの状態を取ります。

​
投機的デコーディング (Speculative decoding)

高速なドラフトモデルと、より大きなターゲットモデルを組み合わせる推論高速化手法です。ドラフトモデルが複数のトークンを並列に提案し、ターゲットモデルがそれらを検証することで、標準的な自己回帰デコーディングと比べてレイテンシを削減し、スループットを向上させます。 アクセプト率 (Acceptance rate) 投機的デコーディングにおいて、ドラフトモデルが提案したトークンのうち、ターゲットモデルが受理した割合です。アクセプト率が高いほど、2 つのモデルの整合性が高く、推論の高速化効果が大きいことを示します。 ドラフトモデル (Draft model) 投機的デコーディングで使用される、高速かつ軽量なモデルです。複数の候補トークンを並列に提案し、それをターゲットモデルが検証します。 投機的デコーディングペア (Speculative decoding pair) 投機的デコーディングを可能にするために、組み合わせて設定されたドラフトモデルとターゲットモデルです。両方のモデルを一緒にデプロイする必要があり、どちらのチェックポイントもカスタマイズできます。 ターゲットモデル (Target model) 投機的デコーディングのデプロイメントにおける、主となる大規模モデルです。ドラフトモデルからのトークン提案を検証または棄却し、最終的な出力を生成します。