1 - このコースについて

コンテキスト

プロダクションパイプラインは安定性を必要とし、Foundry は想定された挙動からの逸脱をユーザーとユーザーのチームに通知するための設定可能なチェックと通知ツールのスイートを提供します。そのようなツールの1つが Data Health サービスであり、ユーザーのデータセットのさまざまな側面に対する予め組み立てられたチェックのスイートを提供します。そして、それらのデータセットが例えばユーザーのスケジュールビルドのターゲットである場合、それらはパイプラインの全体的な健康状態についての信号も与えます。

⚠️ コースの前提条件

• DATAENG 05: このトラックの前のコースをまだ完了していない場合、今すぐに行ってください。

アウトカム

このチュートリアルは、Foundry の Data Health サービスを使用してプロダクションパイプラインを監視するためのベストプラクティスを実装するための実践的な経験をユーザーに提供することについてです。このトレーニングの終了時には、パイプラインの最適な健康状態とパフォーマンスを実現するために、適切なチェックを適切なパイプラインの部分に適用するために必要なすべてをユーザーに提供することが目標です。

🥅 学習の目的

1. データヘルスチェックをどこにどのように適用するかを理解する。
2. 推奨されるデータヘルスチェックをパイプラインのキーパートに学習し、適用する。
3. チェックを調整するのに役立つメトリクスを見つける場所を知る。
4. 通知とアラートフレームワークを理解する。

💪 Foundry のスキル

• Data Health と Data Lineage のアプリケーションでデータセットの健康チェックを設定する。
• Scheduler アプリケーションでスケジュール健康チェックを設定する。
• 必要に応じてチェックを更新するためにスケジュールメトリクスを使用する。
• 一括通知のためのグループチェックを設定する。