Skip to main content
レート制限は、SambaNova API の利用を適切に管理し、安定したパフォーマンスと信頼性の高いサービスを提供するための仕組みです。一定の時間内に各ユーザーが SambaNova API を呼び出せる回数を制限します。 レート制限は以下の単位で測定されます:
  • RPM: 1分あたりのリクエスト数 (Requests per minute)
  • RPD: 1日あたりのリクエスト数 (Requests per day)
  • TPD: 1日あたりのトークン数 (Tokens per day、無料ティアのみ)

​
基本事項

  • リクエスト とは、SambaNova API への呼び出し 1 回を指します。
  • RPM と RPD のいずれか先に達した方の制限が適用されます。
  • 各リクエストのレスポンスで、現在のレート制限の状況が通知されます (詳細は レート制限レスポンスヘッダー を参照)。
  • レート制限に達した場合、API はレスポンスにエラーメッセージを返します (API エラーコード を参照)。

​
SambaStack のレート制限

SambaStack 環境では、レート制限はオプション機能であり、管理者がユーザーグループに対して適用します。

​
SambaCloud のレート制限ティア

SambaNova では、以下のレート制限ティアを提供しています。
  • 無料ティア (Free Tier): 支払い方法がアカウントに登録されていない場合に適用されます。
  • 開発者ティア (Developer Tier): 支払い方法がアカウントに登録されている場合に適用されます。
より高いレート制限をご希望の場合は、SambaNova の営業チーム にお問い合わせください。
支払い方法の登録については、Billing ページ をご参照ください。
開発者ティアのアカウントでは、全モデル合計で1日あたり2000万トークンまでに制限されています。

​
本番モデルのレート制限

本番モデル (production model) は、本番環境での利用を想定しており、速度と品質に関する SambaNova の高い基準を満たしています。

​
プレビューモデルのレート制限

プレビューモデル (preview model) は、評価および開発者による実験用途のみを目的としており、本番環境での利用は推奨されません。これらのモデルは提供のためのリソースが限定的であり、短い予告期間で提供終了となる可能性があります。

​
レート制限レスポンスヘッダー

以下のヘッダーはすべてのリクエストのレスポンスに含まれ、現在のレート制限の使用状況を示します。

​
RPM (1分あたりのリクエスト数)

  • x-ratelimit-limit-requests – 1分あたりに許可される最大リクエスト数
  • x-ratelimit-remaining-requests – 現在の1分間の枠内に残っているリクエスト数
  • x-ratelimit-reset-requests – リセットまでの時間

​
RPD (1日あたりのリクエスト数)

  • x-ratelimit-limit-requests-day – 1日あたりに許可される最大リクエスト数
  • x-ratelimit-remaining-requests-day – 現在の1日の枠内に残っているリクエスト数
  • x-ratelimit-reset-requests-day – リセットまでの時間