7 - スキーマ期待値

📖 タスクの概要

最後の演習として、flight_alerts_by_country.py 変換に限定的なスキーマ期待値を設定します。このタスクでは、チェックに渡す必要がある引数や、スキーマ期待値 の特別な注意事項を思い出すために、構文に細心の注意が必要です。

🔨 タスクの説明

1. flight_alert_metrics_logic リポジトリを開いて、flight_alerts_by_country.py 変換ファイルにアクセスし、Master ブランチからブランチを作成します。

2. 適切なインポート文を追加し、pyspark.sql から types as t をインポートします。

3. ドキュメントの構文ガイダンスを使用して、スキーマに flight_date と alert_priority が含まれており、それぞれのタイプが DateType() および StringType() であることを確認するスキーマチェックを構築します。

4. このチェックをエラー時に FAIL ではなく WARN に設定します。

5. ブランチ上でコードのプレビュー、コミット、ビルドを行い、適切なタイミングで Master にマージします。生成された各データセットに期待値が設定されていることを確認してください。