ジョブグループ

Pipeline Builderでは、成功したデプロイごとに1つのビルドが開始されます。デフォルトでは、各バッチパイプラインの出力がそれぞれのジョブとしてビルドされ、これらのジョブは独立して成功または失敗します。ストリーミングパイプラインでは、すべての出力が単一のFlinkクラスター上で動作する単一のジョブにまとめられるため、すべての出力ストリームは一緒に成功または失敗します。

Pipeline Builderのジョブグルーピング機能を使用すると、バッチパイプラインで出力を1つのジョブにまとめたり、ストリーミングパイプラインで各出力を独自のジョブに分割したりすることができます。また、各ジョブグルーピングに対してコンピュートプロファイルを指定することで、出力のビルド方法を詳細に制御できます。

出力を単一のジョブにまとめると、出力ロジックを並列に更新したい場合に便利です。バッチパイプラインでは、出力はチェックポイントを通じて共有ロジックを効率的に計算するために同じジョブグループに配置する必要があります。Pipeline Builderでチェックポイントについて詳しく学びましょう。

出力をより小さなグループや単一の出力ジョブに分けると、出力を他の出力から独立して実行したい場合に役立ちます。ストリーミングパイプラインの各ジョブグループには独自のFlinkクラスターが必要であることを覚えておいてください。これにより計算コストが増加します。

ジョブグループの割り当て

ジョブグループを割り当てるには、Pipeline Builderのグラフ上の任意の出力ノードを右クリックしてコンテキストメニューを開きます。次に、ジョブグループの割り当てにカーソルを合わせます。バッチパイプラインでは、出力はデフォルトで単一のジョブになります。ストリーミングパイプラインでは、出力はデフォルトで単一のジョブグループになります。

新しいグループを選択して出力を新しいジョブグループに割り当てます。ビルド設定パネルが右側に開き、ジョブグループに色が自動的に割り当てられ、グラフ上で簡単に識別できます。

他の出力を編集して既存のジョブグループまたは新しいジョブグループに追加します。または、サイドパネルを使用して出力を新しいグループに移動します。

デフォルトのコンピュートプロファイルはパネルの上部に表示されます。各ジョブグループにカスタムプロファイルを追加するには、各グループのヘッダーでプロファイルを追加を選択します。以下の例では、デフォルトのコンピュートプロファイルは Smallですが、Group 1は Mediumコンピュートプロファイルで設定されています。

ジョブグループを作成したら、パネルの右上にある適用を選択して変更を保存します。

これでパイプラインのデプロイが準備できました。