スケーリング

Compute Module は、自動的な水平スケーリング機能を備えており、デプロイのリソースを効率的に管理できます。レプリカ数の範囲とレプリカごとの同時実行数の上限を設定でき、どちらもスケーリングの動作に影響します。

最小レプリカ数

最小値がゼロ以外の場合： 最小レプリカ数をゼロより大きい値に設定すると、アクティビティがない期間でも、常に少なくともその数のアプリケーションインスタンスが実行されます。 最小値がゼロの場合： 最小値をゼロに設定すると、アクティブなリクエストがないときにアプリケーションをレプリカ数ゼロまでスケールダウンできます。ただし、リクエストを受信したとき、初回デプロイ時、および負荷が予測されるたびに、アプリケーションはゼロから即座にスケールアップします。

最大レプリカ数

• 水平スケーリングにおけるアクティブなレプリカ数の上限を設定します。
• リソース割り当てを必要な範囲内に維持し、過剰なコストを防ぎ、トラフィックの急増による制御不能なスケーリングを防ぎます。

同時実行数の上限

同時実行数の上限は、1個のレプリカが同時に処理できるリクエストの最大数を定義します。これは、レプリカごとの並列処理能力を表します。たとえば、同時実行数の上限が3の場合、各レプリカは同時に最大3件のクエリを処理できます。デフォルト設定は1で、各レプリカはリクエストを順番に処理します。

SDK のいずれかを使用している場合、この同時実行の仕組みは組み込まれています。ただし、カスタムクライアントを作成している場合は、MAX_CONCURRENT_TASKS 環境変数からこの値を取得できます。

オートスケーリング

オートスケーリングは、現在のワークロードに基づいて、モデルのアクティブなレプリカ数を調整します。最小および最大レプリカ数の設定に加え、スケールアップの負荷しきい値、スケールダウンの負荷しきい値、および遅延を設定して、スケーリングの方法とタイミングを制御できます。

負荷しきい値

負荷しきい値は、オートスケーリングがレプリカを追加または削除するタイミングを決定します。負荷は次の式で計算されます。

current running job count / (current replica count * concurrency limit)

スケールアップとスケールダウンのしきい値は、どちらも 0.0 から 1.0 の間である必要があります。

スケールアップの負荷しきい値

スケールアップの負荷しきい値は、デプロイがレプリカを追加する負荷レベルを定義します。計算された負荷がスケールアップの遅延の時間にわたってこのしきい値以上になると、デプロイはレプリカを1個増やしてスケールアップします。

スケールアップの負荷しきい値のデフォルトは 0.75 です。スケールアップの負荷しきい値は、スケールダウンの負荷しきい値より低くすることはできません。

スケールダウンの負荷しきい値

スケールダウンの負荷しきい値は、デプロイがレプリカを削除する負荷レベルを定義します。計算された負荷がスケールダウンの遅延の時間にわたってこのしきい値を下回ると、デプロイはレプリカを1個減らしてスケールダウンします。

スケールダウンの負荷しきい値のデフォルトは 0.75 です。スケールダウンの負荷しきい値は、スケールアップの負荷しきい値を超えることはできません。

遅延

遅延は、スケーリングアクションがトリガーされるまでに、デプロイが負荷しきい値を上回る、または下回る状態をどのくらいの時間維持する必要があるかを制御します。遅延を設定すると、短時間の負荷変動による不要なスケーリングイベントを防ぐのに役立ちます。

スケールアップの遅延

スケールアップの遅延は、追加のレプリカが追加されるまでに、デプロイが過負荷状態（スケールアップの負荷しきい値以上）を維持する必要がある時間です。スケールアップの遅延のデフォルトは1分です。スケールアップの遅延は、スケールダウンの遅延以下である必要があります。

スケールダウンの遅延

スケールダウンの遅延は、レプリカが削除されるまでに、デプロイが低負荷状態（スケールダウンの負荷しきい値未満）を維持する必要がある時間です。スケールダウンの遅延のデフォルトは30分です。

予測スケーリング

Compute Module は、デプロイの過去のクエリ負荷を追跡する予測スケーリング機能を備えています。このシステムは、予想される需要に対応するため、事前にスケールアップを試みます。予測が不正確な場合、システムは調整してスケールダウンします。予測スケーリングは、設定された最大レプリカ数を遵守するため、デプロイのスケーリングを継続的に監視し、それに応じて設定を調整してください。

スケジュールされたオーバーライド

週内の特定の曜日と時間帯に、最小および最大レプリカ数の設定をオーバーライドするようにスケジュールできます。これは、営業時間中のトラフィック増加など、予測可能な需要の変化が見込まれる場合に便利です。

スケジュールされたオーバーライドを設定するには、スケーリングセクションのスケジュールされたオーバーライドを有効にするトグルを有効にします。これにより、スケジュールで設定をオーバーライドパネルが表示され、次の項目を設定できます。

• 最小レプリカ数をオーバーライド： スケジュールされた期間中の最小レプリカ数。
• 最大レプリカ数をオーバーライド： スケジュールされた期間中の最大レプリカ数。
• アクティブ： オーバーライドが適用される曜日。
• 期間： オーバーライドの開始時刻と終了時刻、およびタイムゾーン。

設定された時間帯以外は、デフォルトのレプリカ設定が適用されます。現在、サポートされているスケジュールされたオーバーライドは1個のみです。