8 - データの前処理、パート 2

📖 タスクの概要

前のチュートリアルの手順を、passengers_preprocessed.py変換に対しても繰り返します。

🔨 タスクの説明

1. /preprocessedフォルダー内にpassengers_preprocessed.pyという新しいPythonファイルを作成します。

2. passengers_preprocessed.pyファイルを開き、デフォルトのコードを以下のコードに置き換えます。

   from transforms.api import transform, Input, Output
   from transforms.verbs.dataframes import sanitize_schema_for_parquet
   
   
   @transform(
       parsed_output=Output("/${namespace}/Temporary Training Artifacts/${yourName}/Data Engineering Tutorials/Datasource Project: Passengers/datasets/preprocessed/passengers_preprocessed"),
       raw_file_input=Input("${passengers_json_raw_RID}"),
   )
   def read_json(ctx, parsed_output, raw_file_input):
   
       # Create a variable for the filesystem of the input datasets
       filesystem = raw_file_input.filesystem()
   
       # Create a variable for the hadoop path of the files in the input dataset
       hadoop_path = filesystem.hadoop_path
   
       # Create an array of the absolute path of each file in the input dataset
       paths = [f"{hadoop_path}/{f.path}" for f in filesystem.ls()]
   
       # Create a Spark dataframe from all of the JSON files in the input dataset
       df = ctx.spark_session.read.json(paths)
   
       """
       Write the dataframe to the output dataset, using the sanitize_schema_for_parquet function
       to make sure that the column names don't contain any special characters that would break the
       output parquet file
       """
       parsed_output.write_dataframe(sanitize_schema_for_parquet(df))
   

3. 以下を置き換えます。

   • 6行目の${namespace}をユーザーの名前空間に置き換えます。
   • 6行目の${yourName}をユーザーのチュートリアル練習アーティファクトフォルダー名に置き換えます。
   • 7行目の${passengers_json_raw_RID}を、passengers_raw.pyで定義されたpassengers_json_rawデータセットのRIDに置き換えます。

4. 右上のプレビューボタンを使って、出力がデータセットとして表示されるかどうかを確認します。

5. テストが期待通りに動作したら、意味のあるメッセージ（例：「feature: add passengers_preprocessed」）でコードをコミットします。

6. フィーチャーブランチでpassengers_preprocessed.pyコードをビルドし、出力データセットに乗客とフライトアラートの2列マッピングが含まれていることを確認します。

7. 入力/出力変換パスと関連するRIDを交換することを検討します。

8. ビルドが正常に完了したら、前のチュートリアルで説明したPRプロセスを使用して、フィーチャーブランチをMasterにマージします。

9. 最後に、Masterブランチで両方の前処理済み出力をビルドします。