パイプライン管理

このページでは、Pipeline Builder におけるパイプライン管理の機能とベストプラクティスについて説明します。

パイプライン全体でのロジックの再利用

Pipeline Builder は、パラメーターおよびカスタム関数を通じて、パイプライン全体でロジックを再利用することをサポートします。パラメーターは、パイプライン内の複数のトランスフォームで使用できる値です。カスタム関数は、1 つのトランスフォームとして中央で定義される一連のトランスフォームです。

大規模パイプライン管理

Pipeline Builder は、ノードのグループ化と最適化機能をサポートして、大規模なパイプラインの管理を支援します。

Pipeline Builder でフォルダーおよびサブフォルダーを作成してノードをグループ化できます。これにより、ノードを整理し、特定のフォルダー内のノードの表示/非表示を切り替えてパイプラインの範囲を絞り込むことができます。

Pipeline Builder でノードのカラーグループを使用して、同じ色のノードを折りたたみ、グラフの読みやすさを向上させることができます。

ノードを表示および非表示にすることで、グラフの一部に焦点を当てることができます。これらのノードは手動で選択するか、カラーグループに基づいて表示/非表示にすることができます。

Pipeline Builder のジョブグループ化を使用して、出力をジョブに分割する方法を制御し、各ジョブの計算プロファイルを設定できます。

パイプラインを構築する際、複数の出力間で共有されるトランスフォームノードをCheckpointsとしてマークできます。これらの中間結果は次回のビルド時に 1 回だけ計算されるため、計算時間を節約できます。

より高速なプレビューのために、パイプラインをプロトタイプ化する際に、入力データをダウンサンプリングする入力サンプリングを追加できます。パイプラインのデプロイは、完全なデータセットで実行されます。