5. [Builder] トランスフォームプロジェクト1 - このコースについて

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

1 - このコースについて

データエンジニアリング(DATAENG)ラーニングパスの「Builder」パスを進んでいる方にとって、このチュートリアルでは、これまでに学んだプロジェクトとトランスフォームのベストプラクティスをさらに実践する機会を提供します。

ユーザーのフライトアラートデータのデータソースプロジェクトとパイプラインを設定しましたが、このチュートリアルでは passengers のためにも一つ作成します。その後、パイプラインの次のステージに進み、Transform プロジェクトを作成し、特定の下流ワークフローを可能にする一連の出力を生成します。その過程で、Pipeline Builder が非線形データ形式(この場合は JSON)をどのように処理するかも感じることができます。

⚠️ コースの前提条件

DATAENG 04: データパイプラインのスケジューリング: このトラックの前のコースをまだ完了していない場合は、今すぐ行ってください。

🥅 学習の目的

  1. Pipeline Builder とプロジェクト構造の基本をより実践する。
  2. Pipeline Builder で非線形データ形式を処理する。
  3. Transform プロジェクトと関連する出力を作成する。

💪 Foundry のスキル

  • Pipeline Builder の JSON パーサー変換を使用する。
  • Pipeline Builder の変換から複数の出力を生成する。
  • プロダクションパイプラインのデータソースプロジェクトセグメントのドキュメントとしてデータフローグラフを生成する。