注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
ジョブグループ
Pipeline Builderでは、各成功したデプロイメントが1回のビルドを開始します。デフォルトでは、各バッチパイプライン出力はそれぞれ独自のジョブとしてビルドされ、これらのジョブは独立して成功または失敗します。ストリーミングパイプラインでは、すべての出力が1つのFlinkクラスターで実行される1つのジョブにまとめられるため、すべての出力ストリームは一緒に成功または失敗します。
Pipeline Builderのジョブグループ化により、バッチパイプラインでは出力を1つのジョブにまとめたり、ストリーミングパイプラインでは各出力を独自のジョブに分割したりすることができます。また、各ジョブグループにコンピュートプロファイルを指定することで、出力のビルド方法を細かく制御できます。コンピュートリソースはジョブグループ内のすべての出力で共有されます。
出力を1つのジョブにまとめると、出力ロジックを並行して更新したい場合に便利です。バッチパイプラインでは、出力を同じジョブグループに配置することで、チェックポイントを通じて共有ロジックを効率的に計算できます。Pipeline Builderでチェックポイントについてさらに学びましょう。
出力を小さなグループまたは単一出力ジョブに分割することは、他の出力とは独立して出力を実行したい場合に役立ちます。ストリーミングパイプラインの各ジョブグループには独自のFlinkクラスターが必要になるため、計算コストが増加することを覚えておいてください。
ストリーミングまたはインクリメンタルパイプラインでジョブグループ間で出力を移動することは、重大な変更と見なされ、強制的なリプレイがトリガーされます。Pipeline Builderで重大な変更についてさらに学びましょう。
ジョブグループを割り当てる
ジョブグループを割り当てるには、Pipeline Builderグラフの任意の出力ノードを右クリックしてコンテキストメニューを開きます。その後、Assign job groupにカーソルを合わせます。バッチパイプラインでは、出力はデフォルトで単一のジョブに設定されます。ストリーミングパイプラインでは、出力はデフォルトで単一のジョブグループに設定されます。
| バッチビュー | ストリーミングビュー |
|---|---|
 |  |
New groupを選択して、出力を新しいジョブグループに割り当てます。Build settingsパネルが右側に開き、ジョブグループに識別しやすい色が自動的に割り当てられます。
| バッチビュー | ストリーミングビュー |
|---|---|
 |  |
他の出力を編集して、既存または新しいジョブグループに追加し続けます。あるいは、サイドパネルを使用して出力を新しいグループに移動します。
デフォルトのコンピュートプロファイルはパネルの上部に表示されます。各ジョブグループにカスタムプロファイルを追加するには、各グループのヘッダーにあるAdd profileを選択します。以下の例では、デフォルトのコンピュートプロファイルはSmallですが、Group 1はMediumのコンピュートプロファイルで構成されています。
ジョブグループを作成したら、パネルの右上にあるApplyを選択して変更を保存します。
パイプラインをデプロイする準備が整いました。
ジョブグループとマーキング
ジョブグループでは、すべての入力からのマーキングが同じジョブグループ内のすべての出力に引き継がれます。たとえ出力が直接マークされた入力に接続されていなくてもです。マーキングの継承についてさらに学びましょう。
次の例では、Input_Aにはマーキングがあり、Input_Bにはマーキングがありません。Output_XとOutput_Yは同じジョブグループにあります。Output_Yが直接Input_Aに接続されていなくても、デプロイメント時にInput_Aからすべてのマーキングを引き継ぎます。
Output_Yにマーキングをしたくない場合は、ジョブグループから継承されたマーキングを事前に削除することができます。