13 - 演習のまとめ

📚 推薦文献 (~5 分読み)

このページでは、このラーニングパスで取り扱う関連データ統合アプリケーションをまとめています。Data Connection のトレーニングは別のラーニングモジュールでカバーされていることに注意してください。

✅ 学習した内容

• データエンジニアは、Contour、Code Workbook、および Preparation アプリケーションを使用して、データ変換をプロトタイプ化し、それらを本番パイプラインに移行します。これらのアプリケーションは、プロトタイピングと分析のみに使用し、本番パイプラインの一部としてデータセットを出力するためには使用しないでください。
• Pipeline Builder は、本番パイプラインの一部としてデータを変換するためのデフォルトの、優先的に使用するべきアプリケーションです。
• Code Repositories も十分に柔軟で堅牢であり、本番パイプラインの一部としてデータセットを出力することが可能ですが、専門的な変換コードが必要な場合には Pipeline Builder の補完として使用すべきです。
• Data Lineage、Scheduler、および Data Health アプリケーションは、データパイプラインの保守と監視に使用されます。
• Schedule と Data Health は Data Lineage アプリケーションからアクセス可能です。
• このラーニングパスはここで2つのトラックに分かれます。「Builder」とラベル付けされたコースでは、Pipeline Builder でのデータ変換をカバーします。「Repositories」とラベル付けされたコースでは、コードリポジトリで同じ変換ステップを実行します。