1. データパイプラインの基礎13 - 演習のまとめ

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

13 - 演習のまとめ

📚 推薦文献(読むのに約5分)

このページでは、このラーニングパスで取り扱った関連データ統合アプリケーションをまとめています。ただし、Data Connectionのトレーニングは別のラーニングモジュールでカバーされています。

✅ 学習した内容

  • データエンジニアは、Contour、Code Workbook、Preparationアプリケーションを使用して、データの変換をプロトタイピングし、それらをプロダクションパイプラインに移動させます これらのアプリケーションは、プロトタイピングと分析のみに使用し、プロダクションパイプラインの一部としてデータセットを出力するためには使用しないでください。
  • Pipeline Builderは、プロダクションパイプラインの一部としてデータを変換するためのデフォルトの、推奨されるアプリケーションです。
  • コードリポジトリも、プロダクションパイプラインの一部としてデータセットを出力するのに十分に柔軟で堅牢ですが、特殊な変換コードが必要な場合は、Pipeline Builderを補完として使用するべきです。
  • Data Lineage、Scheduler、Data Healthアプリケーションはすべて、データパイプラインの保守と監視に使用されます。
  • ScheduleとData Healthは、Data Lineageアプリケーションからアクセス可能です。
  • このラーニングパスは、ここで2つのトラックに分かれます。 "Builder"とラベル付けされたコースは、Pipeline Builderを使用したデータ変換をカバーします。"Repositories"とラベル付けされたコースは、コードリポジトリで同じ変換ステップを実行します。