Warning
注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
7 - スキーマ期待値
この内容は learn.palantir.com でもご覧いただけますが、アクセシビリティの観点からここに掲載しています。
📖 タスクの概要
最終的な練習として、flight_alerts_by_country.py 変換に限定的なスキーマ期待値を設定します。このタスクでは、チェックに渡す必要がある引数を覚えておく必要があり、また スキーマ期待値 に対する特別な考慮事項に注意を払う必要があります。
🔨 タスクの説明
-
ユーザーの
flight_alert_metrics_logicリポジトリをflight_alerts_by_country.py変換ファイルに開き、Masterからブランチを作成します。 -
適切なインポート文を追加し、
pyspark.sqlからtypes as tをインポートします。 -
ドキュメンテーションの構文ガイダンスを使用して、スキーマが
flight_dateとalert_priorityを含み、それらのタイプがそれぞれDateType()とStringType()であることを確認するスキーマチェックを作成します。 -
このチェックは、エラー時に
FAILの代わりにWARNに設定します。 -
ブランチ上でコードをプレビューし、コミットし、ビルドします。適切なタイミングで
Masterにマージします。生成された各データセットに期待値が設定されていることを確認してください。