注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Pipeline Builder の外部パイプライン
Pipeline Builder で、計算処理を外部の計算エンジンにプッシュダウンする外部パイプラインが利用できるようになりました。これは Python トランスフォームの計算プッシュダウンと同様に機能し、外部データウェアハウスの計算処理に Foundry のパイプライン管理、データリネージ、セキュリティ機能を適用できます。
Python トランスフォームの計算プッシュダウンと同様に、外部パイプラインのすべての入力と出力は仮想テーブルである必要があります。
外部の計算リソースでビルドしたテーブルは、Foundry のスケジューリングツールを使用して、Foundry ネイティブの計算リソースでビルドしたデータセットやテーブルと組み合わせることができます。これにより、各ステップで最適な計算リソースを使用しながら、複数の技術を組み合わせた複雑なパイプラインをオーケストレーションできます。
Pipeline Builder が対応する外部計算エンジン
現在、Pipeline Builder は外部計算エンジンとして Databricks と Snowflake に対応しています。BigQuery など、ほかの外部計算エンジンを使用するには、計算プッシュダウンを使用するトランスフォームを使用します。
| ソースの種類 | ステータス |
|---|---|
| BigQuery | 利用不可 |
| Databricks | 一般提供 |
| Snowflake | 一般提供 |
新しい外部パイプラインを作成する
Pipeline Builder を初めて使用する場合は、先に Pipeline Builder でバッチパイプラインを作成する方法を確認してください。
- Pipeline Builder を開き、新規パイプラインの作成を選択します。
- パイプラインの名前と目的の場所を入力した後、設定でバッチパイプライン > 外部を選択し、次へを選択します。
- 対応する外部ソースを検索して選択し、パイプラインにインポートします。
- これで、そのソースの仮想テーブルをグラフに追加し、通常どおりパイプラインを作成できます。
- すべてのパイプライン出力は、ソース内の仮想テーブル出力になります。
- ビルドの準備ができたら、パイプラインを保存してデプロイします。パイプラインは外部の計算リソースを使用して実行され、結果はソースシステムに保存される仮想テーブルとして出力されます。
すべての入力テーブルと出力テーブルは、パイプラインのセットアップ時に選択した同じソースの仮想テーブルである必要があります。Databricks の外部パイプラインでは、Databricks テーブルのみに対応しています。Snowflake の外部パイプラインでは、同じ外部ボリュームの Snowflake 仮想テーブルのみに対応しています。外部パイプラインを使用する場合、Foundry データセットは入力や出力として利用できません。
ビルド設定を構成する
ビルド設定パネルでパイプラインのソースを編集し、ソース固有の計算オプションを設定できます。
外部の計算リソースの設定は、ビルド設定のデフォルトコンピュートプロファイルで利用できます。
| ソースの種類 | コンピュートプロファイル | 説明 |
|---|---|---|
| Databricks | サーバーレス | Databricks Connect でサーバーレスコンピュートを使用します（デフォルト）。Databricks Connect の計算オプションの詳細については、Databricks の公式ドキュメント ↗を参照してください。 |
| Databricks | クラシックコンピュート | クラシックコンピュートクラスターのクラスターIDを指定します。指定しない場合、Spark クラスターIDはソースの設定から取得されます。ソースが SQL ウェアハウスを使用するように設定されている場合は、指定する必要があります。 |
| Snowflake | コンピュートウェアハウス | 計算に使用する Snowflake ウェアハウスを指定します。指定しない場合、ソースに設定されたコンピュートウェアハウスが使用されます。 |
既知の制限事項
外部パイプラインは現在、標準のバッチパイプラインと同じトランスフォームや式には対応していません。
外部パイプラインとバッチパイプラインには違いがあるため、必ずプレビューを使用するか、ビルド出力を調べて結果を確認してください。
現在対応していない機能と式には、次のものがあります。
- インクリメンタル（差分処理）計算
- LLM 機能
- メディアセット操作
- 和集合
- ユーザー定義関数
- 地理空間操作