7. [Builder] データ期待値の設定1 - このコースについて

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

1 - このコースについて

データ・ヘルス・チェック は、チェックタイプに応じたさまざまなバックエンドプロセスを使用して、ビルドが完了したに実行されます。これらはビルドまたはジョブが完了した後の変換ロジックとは別に実行されるため、ビルドを失敗させるためには使用できません。つまり、主キー一意性のヘルスチェック をインストールした場合、失敗についてのみ通知されますが、望ましくないデータが下流に伝播し続ける可能性があります。

それに対して、Foundry の Data Expectations ライブラリは、Pipeline Builder で呼び出して、満たされない場合にジョブが失敗するヘルスチェックを作成し、データの期待される形状とサイズに関するコードパイプラインの "ドキュメント" の層を追加することができます。つまり、エンコードされた主キーデータの期待値が満たされない場合、ジョブが失敗し、予期しないデータが下流に伝播しません。さらに、エンコードされた期待値は、設定した標準的なものと共に Data Health アプリに表示されます。

⚠️ コースの前提条件

DATAENG 06: このトラックの前のコースをまだ完了していない場合は、今すぐ行ってください。

結果

前のチュートリアルで適用したデータ・ヘルス・チェックのようなものが、パイプラインを監視するのに十分な場合もあります。完全な監視および保護プログラムは、より細かい粒度と制御のために Data Expectations フレームワークを活用する必要があります。この短いチュートリアルでは、パイプラインにこれらのチェックを追加して実践し、Data Health アプリケーションでそれらを表示する方法を学びます。

🥅 学習の目的

  • Pipeline Builder でデータ期待値チェックをいつどのように適用するかを理解する。

💪 Foundry のスキル

  • Pipeline Builder で Data Expectations チェックを適用する。
  • Data Health アプリで期待値チェックを表示する。