Open AI APIを複数のユーザーが使う際のTPMや同時接続などの利用制限を回避する方法

#### OpenAI APIのトークン使用量制限とAzure上のTPMリミットエラー OpenAI APIを利用する際のトークン使用量制限には一時的な制限があり、制限を超えるとリクエストが受け付けられなくなります。Azure上のモデルでもTPMリミットエラーが報告されており、適切な処理が求められています。 #### OpenAI APIとAzure上のTPMリミットエラーへの対策 OpenAI APIの利用制限を回避するためには、自社でのレート制限の実装が重要であり、使用量を適切に管理することが必要です。また、Azure上のモデルでのTPMリミットエラーに対処するためには、エクスポネンシャルバックオフやクライアントサイドのレート制限ヘルパーの実装が必要とされています。これらの対策を講じることで、利用制限を回避し、スムーズなAPI利用を実現できます。 #### 問題の理解と認識 ##### OpenAIのGPT-4利用時の高頻度のレート制限エラー [OpenAI Community](https://community.openai.com/t/hitting-rate-limit-with-small-group-of-users/214032)によると、多くのユーザーがGPT-4を使用する際に頻繁に「429 Too Many Requests」エラーに遭遇しています。これは、公開されているレート制限よりも厳しい制限が実際にかかっているためと考えられます。OpenAIは、GPT-4の限定ベータ版リリース中は需要に対応するため、より厳しいレート制限を設けていると説明しています。そのため、多くのユーザーがGPT-4の利用を断念し、代わりにGPT-3.5を使用するようになっています。 ##### OpenAIサーバーの一時的な過負荷 時折、「That model is currently overloaded with other requests」といったエラーメッセージが表示されることがあります。これはOpenAIのサーバーが一時的に過負荷状態にあり、リクエストを処理できない状況を示しています。レート制限とは別の問題で、OpenAIのインフラ拡張の過程で発生する一時的な問題と考えられます。指数関数的なバックオフ処理を実装するなどして、一時的な過負荷に対応することが推奨されています。 ##### Azure OpenAI Serviceの利用検討 OpenAIの直接利用に限界を感じる場合は、[Microsoft Azure](https://azure.microsoft.com/ja-jp/products/cognitive-services/openai-service)が提供するOpenAI Serviceの利用を検討することをおすすめします。Azure OpenAI Serviceは、OpenAIモデルへのアクセスを提供しつつ、より高い可用性を備えています。申請プロセスを経て利用を開始できるため、OpenAIの直接利用よりも安定した環境を得られる可能性があります。 ##### OpenAI APIのトークン使用量制限 [Reddit](https://www.reddit.com/r/OpenAI/comments/17oy9ro/openai_api_users_now_get_limits_increased/)によると、OpenAI APIユーザーの利用制限が自動的に引き上げられるようになりました。ユーザーは[アカウントの利用制限](https://platform.openai.com/account/limits)を確認でき、[各利用ティアの詳細](https://platform.openai.com/docs/guides/rate-limits/usage-tiers)も確認できます。利用ティアごとの条件と制限が示されています。 ##### Azure上のモデルでのTPMリミットエラーの処理 [GitHub](https://github.com/openai/openai-python/issues/937)では、Azure上のモデルにアクセスする際に、TPMリミットエラーが増加している問題が報告されています。現在のライブラリでは、Retry-Afterヘッダーを処理することができますが、Azureが最近x-rate-limit-reset-tokensを返すようになったため、適切に処理できていません。再試行の設定があるものの、それでも解決されていません。問題の再現手順は、Azure上のモデルでトークンリミットエラーを強制的に発生させることです。現在のライブラリはエクスポネンシャルバックオフを行っていますが、バッチスクリプト実行時の事前のクライアントサイドのレート制限ヘルパーは提供されていません。今後の実装が期待されています。

#### OpenAI APIのレート制限への対処方法 OpenAIのAPIには厳しいレート制限があり、ユーザーのデータベーススキーマ解析などの処理で制限に遭遇している。非同期処理、キャッシング、複数APIキーの使い分け、制限超過時の一時停止などの対策が考えられる。 #### OpenAI APIのレート制限に対する考察 OpenAIのAPIを効果的に利用するためには、レート制限に対処する方法が重要です。非同期処理を使ってリクエストを並列化し、キャッシングを導入して同じリクエストを繰り返さないようにすることで制限を回避できます。さらに、複数のAPIキーを使い分けてリクエストを分散させることで、制限を超えるリクエストを防ぐことができます。制限超過時には一時的に処理を遅らせるなどの対策を講じることで、スムーズなAPI利用が可能となります。 #### Azure API Management を使用した OpenAI エンドポイントの高度なロードバランシング 多くのサービスプロバイダー(OpenAI を含む)は、呼び出し数に制限を設けています。Azure OpenAI の場合、トークン制限(TPM または1分あたりのトークン数)と1分あたりのリクエスト数(RPM)の制限があります。サーバーがリソースを使い果たしたり、サービスの制限を超えると、プロバイダーは HTTP ステータスコード 429 (リクエストが多すぎる) を発行し、Retry-After レスポンスヘッダーで次のリクエストを試行するまでの待機時間を示します。 Azure API Management ポリシーを使用して、2つ以上の OpenAI またはその他の API バックエンドの可用性とプライオリティに基づいて効率的に消費するシングルエンドポイントを提供する方法が示されています。主な特徴は以下の通りです: - HTTP ステータスコード 429 (リクエストが多すぎる) とRetry-Afterヘッダーを認識し、現在スロットリングされていないバックエンドにトラフィックを送信する - バックエンドのプライオリティを設定できるため、最も高いプライオリティのものから順に消費し、スロットリングが発生した場合は低プライオリティのバックエンドにフォールバックする - バックエンド間の待機時間はなく、即座にリトライを行う 詳細については、[こちらのリポジトリ](https://github.com/Azure/apim-aoai-smart-loadbalancing)を参照してください。 #### Azure OpenAI の管理対象ID Azure OpenAI を使用するには、API Management インスタンスに管理対象IDを設定し、そのIDにCognitive Services OpenAI Userロールを割り当てる必要があります。これにより、API Keyを管理する必要がなくなります。 #### OpenAI API の追加 API Management で OpenAI API を追加するには、[inference.json](https://github.com/Azure/apim-aoai-smart-loadbalancing/blob/main/inference.json)ファイルを使用し、サーバーセクションを更新して、OpenAI エンドポイントを指定します。また、サブスクリプションの設定で、サブスクリプションが必須で、ヘッダー名がapi-keyであることを確認する必要があります。 #### API Management ポリシーの適用 最後に、[apim-policy.xml](https://github.com/Azure/apim-aoai-smart-loadbalancing/blob/main/apim-policy.xml)ファイルの内容を使用して、API Management ポリシーを設定します。このポリシーには、バックエンドの管理、スロットリングの検出と対応、リトライロジックなどが含まれています。 #### OpenAI APIトークンとリクエスト制限の理解 - OpenAIプラットフォームのアカウントを作成し、設定>>制限セクションを確認すると、利用可能なAPIアクセスのティアが表示されます。 - 新規アカウントはデフォルトで無料ティアに設定されており、開発中はこのティアの制限に注意が必要です。 - ティアごとにトークン制限(1分あたりのトークン数)とリクエスト制限(1分/1日あたりのリクエスト数)が設定されています。 - モデルの選択は、制限と開発タイムラインに大きな影響を与えるため、慎重に検討する必要があります。[モデル選択のストラテジー](https://medium.com/@tolulade/strategies-to-navigate-model-selection-for-your-first-large-language-model-application-d9d4d0d7f6d1) #### トークン制限とリクエスト制限の違い - トークンは自然言語処理において、単語や文字に分割されたテキストの単位を表します。 - トークン制限は、アプリケーションがOpenAIサーバーに送信するトークンの量を表します。 - リクエスト制限は、アプリケーションがAPI serverに送信できるリクエスト数の上限を表します。 - アプリケーション設計時には、これらの制限を考慮し、制限に適合するよう最適化する必要があります。 #### 制限の管理 - ユーザーティアと、選択したモデルのトークン/リクエスト制限を確認し、アプリケーションの設計に反映させる必要があります。 - アプリケーションでは、制限に達した場合の適切な処理(待機、再試行など)を実装する必要があります。 - 常に課金設定を確認し、OpenAIクレジットの消費に注意を払う必要があります。