注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
このページでは、Pipeline Builderにおけるパイプライン管理の機能とベストプラクティスについて説明します。
Pipeline Builderは、パラメーターおよびカスタム関数を通じて、パイプライン全体でのロジックの再利用をサポートしています。パラメーターは、パイプライン内の複数の変換で使用できる値です。カスタム関数は、一連の変換を一つの変換として中央で定義します。
Pipeline Builderは、大規模なパイプラインを管理するためのグルーピングと最適化機能をサポートしています。
ユーザーは、Pipeline Builderでnode color groupsを使用して、同じ色のノードを折りたたんでグラフの可読性を向上させることができます。
Pipeline BuilderのJob groupingでは、出力がどのようにジョブに分割され、それぞれのジョブの計算プロファイルを制御することができます。
パイプラインを構築する際、ユーザーは複数の出力間で共有される変換ノードをcheckpointsとしてマークすることができます。これらの中間結果は、次回のビルド時に一度だけ計算され、計算時間を節約することができます。
より早いプレビューのために、ユーザーはinput samplingを追加して、パイプラインのプロトタイプ作成中に入力データをダウンサンプリングすることができます。パイプラインのデプロイは、引き続き全データセットで実行されます。