6. データパイプラインの健全性の監視1 - このコースについて

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

1 - このコースについて

コンテキスト

プロダクションパイプラインでは安定性が求められます。Foundry では、設定可能なチェックや通知ツールを使って、ユーザーやチームが期待する振る舞いからの逸脱を把握できます。そのようなツールの1つが Data Health サービスで、データセットのさまざまな側面に対するプリビルトのチェックを提供します。また、これらのデータセットが例えばスケジュールビルドのターゲットである場合、パイプライン全体の健全性に関するシグナルも提供します。

⚠️ コースの前提条件

  • DATAENG 05: このトラックの前のコースをまだ完了していない場合は、今すぐ行ってください。

アウトカム

このチュートリアルでは、Foundry の Data Health サービスを使用して、プロダクションパイプラインの監視に関するベストプラクティスを実践するためのハンズオン経験を提供します。このトレーニングが終了するころには、パイプラインの最適な健全性とパフォーマンスを実現するために、適切なチェックを適切なパイプラインの部分に適用するために必要なすべての知識を身につけていただくことが目標です。

🥅 学習の目的

  1. データ健全性チェックをどこで、どのように適用するかを理解する。
  2. おすすめのデータ健全性チェックをパイプラインの重要な部分に適用する。
  3. チェックの調整に役立つメトリクスを見つける場所を知る。
  4. 通知とアラートのフレームワークを理解する。

💪 Foundry のスキル

  • Data Health および Data Lineage アプリケーションで、データセットの健全性チェックを設定する。
  • Scheduler アプリケーションでスケジュールの健全性チェックを設定する。
  • 必要に応じてスケジュールメトリクスを使用してチェックを更新する。
  • 一括アラートのためのグループチェックを設定する。