1 - このコースについて

データパイプラインをサポートする Foundry のアプリケーションとプロジェクト構造は、ユーザーの現在のチームや将来のチームにユーザーのデータ変換に関する関連情報を知らせるための多くの機会を提供します。データの前処理が終わったら、それをクリーンにし、下流での使用のために準備する時です。これは、変換ロジックを完全にし、全てのステップでスコープを文書化することを意味します。

このチュートリアルでは、ユーザーのプロジェクトのための「クリーン」な出力を作成し、下流のパイプラインやユースケースで使用されるようにします。これにより、推奨されるパイプラインプロジェクト構造内での追加練習を得ることができます。

⚠️ コースの前提条件

DATAENG 02 (Builder): このトラックの前のコースをまだ完了していない場合は、今すぐそれを行います。

🥅 学習の目的

1. 前処理とクリーニングステップを区別する。
2. ユーザーのパイプラインのデータソースステージを文書化する。
3. Pipeline Builder でのデータ変換の追加練習を行う。

💪 Foundry のスキル

• Pipeline Builder の変換から複数の出力を生成する。
• ブランチングとパイプライン文書化のベストプラクティスを実装する。
• ユーザーのプロダクションパイプラインの Datasource プロジェクトセグメントの文書化として Data Lineage グラフを生成する。