データ統合Pipeline Builderパイプライン管理チェックポイント

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

チェックポイント

パイプラインを構築する際、しばしば複数の出力間で共有変換ノードを使用します。このロジックは、通常、各出力ごとに1回再計算されます。Pipeline Builder のチェックポイントを使用すると、次回のビルド時に中間結果を保存する「チェックポイント」を変換ノードとしてマークできます。そのチェックポイントノードの上流のロジックは、その共有出力すべてに対して1回だけ計算され、計算リソースを節約し、ビルド時間を短縮します。

チェックポイントはバッチパイプラインでのみ使用可能です。チェックポイントノードがパイプラインの効率を向上させるためには、出力は同じジョブグループ内にある必要があります。Pipeline Builder のジョブグループについて詳しくはこちらをご覧ください。

チェックポイントノードの追加

以下は、AttachmentRequest の2つの出力を生成するパイプラインの例です。変換ノード Checkpoint は2つの出力間で共有されています。現状では、ロジックノード CleanCheckpoint は、各出力ごとに2回計算されます。

Pipeline Builder のグラフ上のチェックポイントノード

しかし、私たちは CleanCheckpoint を両方の出力に対して1回だけ計算したいと考えています。これを行うには、Checkpoint を右クリックし、チェックポイントとしてマークする を選択します。

ノードメニューの下部近くで「チェックポイントとしてマークする」を選択

これで、Checkpoint ノードの上部の角に淡い青色のバッジが表示されます。

グラフ上のチェックポイントノードがチェックポイントとしてマークされています。

次に、両方の出力を同じジョブグループに追加して、チェックポイントの動作を確認します。出力の1つ(Request)を右クリックして ジョブグループを割り当てる を選択します。新規グループ を選択して ビルド設定 パネルを開きます。

ノードメニューを使用して、出力ノードをジョブグループに割り当てます。

次に、他の出力(Attachment)を同じジョブグループに追加します。出力を選択し、パネルの下部で グループに追加.. を選択します。

Build Settings パネルで別の出力ノードを同じジョブグループに追加します。

Pipeline Builder でノードを設定する方法については、カラーグループジョブグループを参照してください。