10 - 変換

Foundry には、本番データを変換するための2つのアプリケーション、Pipeline Builder と Code Repositories があります。このラーニングパスでは、それぞれを使用して練習する機会が提供されます。

Pipeline Builder は、Foundry で本番パイプラインを構築するための主要なアプリケーションです。Pipeline Builder の低コード/ノーコード指向により、より多くの Foundry ユーザーがパイプライン開発とメンテナンスプロセスにアクセスできます。新しいデータパイプラインはすべて Pipeline Builder から始め、カスタムライブラリの使用、複雑なユーザー定義関数の作成、API コールの実行など、Pipeline Builder では利用できない特殊なコードベースのロジックが必要なときには Code Repositories を使用してください。

これらのアプリケーションは連携して使用することができます。Pipeline Builder で出力したデータセットをコードリポジトリの変換の入力として使用したり、その逆を行ったりすることができます。

このラーニングパスでは、データセットのビルド状況、Spark の詳細を含むものをデータエンジニアが監視できる Job Tracker アプリケーションも紹介します。