<YOUR API KEY> のような箇所は、実際のキーの値に置き換えてください。
エンドポイントパス
エンドポイントへのパスにより、サーバーで実行されるアクションが決まります。
モデル名
API リクエストを正しく接続するには、完全なモデル名が必要です。「Meta-Llama-3.1-405B-Instruct」のような完全な名称は、日常的な言及では「Llama 3.1 405B」のように略されることがあります。リクエストの際は、SambaCloud および SambaStack のモデルページに記載されている完全な名称を使用してください。
プレビューモデル
評価および開発者による実験のみを目的としたモデルで、本番環境での使用は想定されていません。プレビューモデル (preview model) は提供キャパシティが限られており、短い予告期間で提供終了となる場合があります。
本番モデル
本番環境での使用を目的としたモデルです。本番モデル (production model) は、速度と品質に関する SambaNova の基準を満たしています。
プロンプト入力
プロンプトは ‘system’ と ‘user’ の 2 つのロールによって区別されます。System プロンプトは、リクエストに応答する際のモデルの振る舞いを設定します。User プロンプトは、モデルに実行させたいタスクや質問の指示を動的に記述します。
ストップシーケンス
API がそれ以上のトークン生成を停止するシーケンスのリストです。文字列、または文字列の配列として指定できます。
モデルパラメータ
max_tokens 生成するトークンの最大数です。 Stream (ストリーム) 応答をストリームとして受け取るか、単一のレスポンスとして受け取るかを決定します。 Stream options (ストリームオプション) 設定すると、data: [DONE] メッセージの前に追加のチャンクがストリーミングされます。このチャンクの usage フィールドには、リクエスト全体のトークン使用量の統計が表示され、choices フィールドは常に空の配列になります。その他のチャンクにも usage フィールドが含まれますが、その値は null になります。使用量メトリクスには、OpenAI のメトリクスに加えて、SambaCloud が対応する追加のメトリクスが含まれます。 temperature 応答のランダム性の度合いを決定します。 top_p top_p (核サンプリング) パラメータは、累積確率に基づいて、予測される各トークンの候補数を動的に調整するために使用します。 top_k top_k (型: number) パラメータは、次に予測される単語またはトークンの候補数を制限するために使用します。デフォルト値はMAX_INT です。