2 - データ期待値ライブラリとモジュールの追加と参照

📖 タスクの概要

ユーザーのコード内で期待値フレームワークを使用するために、指定されたライブラリへの参照を追加する必要があります。

🔨 タスクの説明

1. flight_alerts_logic コードリポジトリをユーザーの /Datasource Project: Flight Alerts フォルダーで開きます。
2. Masterから yourName/feature/primary_key_check という名前の新しいブランチを作成します。
3. リポジトリの左側にある Libraries タブを開き、transforms-expectations が installed リストに表示されていることを確認します。表示されていない場合は、それを検索し、前のチュートリアル「Data Pipeline Healthの監視」で学んだワークフローを使用して追加します。
4. コードエディタで flight_alerts_clean.py 変換ファイルを開きます。
5. transforms.api からのインポートを更新して、新しい、大文字と小文字を区別する項目 Check を含めます。
6. transform.api のインポートの下の新しい行に、新しいインポート文を追加します：from transforms import expectations as E。これが完了したら、この変換ファイル内のインポート文は以下のブロックのようになるはずです:

Copied!
1
2
3
4
5
6
from pyspark.sql import functions as F
# pyspark.sql内のfunctionsをFとしてインポート
from transforms.api import transform_df, Input, Output, Check
# transforms.apiからtransform_df, Input, Output, Checkをインポート
from transforms import expectations as E
# transformsからexpectationsをEとしてインポート

📚 推薦文献 (~2分読み)

データ期待値フレームワークの成功的な利用に必要な関連用語を確認するために、この導入記事をご覧ください。現時点では、詳細を学ぶヘッダーの下のリンクをフォローする必要はありません。