10 - オントロジープロジェクトの構築

📖 タスクの概要

データエンジニアリングのラーニングパスで Transform Project を作成したところまで進みました。オントロジーのオブジェクトタイプとリンクタイプをバックアップするために使用されるデータセットは、コードリポジトリから オントロジープロジェクト に出力される必要があります。

このタスクでは、オントロジープロジェクトのフォルダーとリポジトリを設定し、準備されたデータセットを出力するコードを生成します。まず、データフローグラフを開いた状態で、flight_alerts_clean および passengers_clean データセットを確認して、追加の準備が必要かどうかを判断しましょう。

🔨 タスクの説明

1. 開いているデータフローグラフで、flight_alerts_clean データセットノードをクリックし、画面の左下にある Preview ヘルパータブを開きます。

   • 列名がすべて snake_case で書かれており、データが一貫してフォーマットされており、すべての列が文字列であることに注意してください（flight_date 列を除く）。

2. Preview ヘルパーで alert_display_name の横にある "▾" をクリックし、View stats を選択して主キーの一意性を確認します。値のヒストグラムで、1回以上表示される値がないことを確認します。

   • このデータセットでは、主キーが一意でない場合にビルドが失敗するデータ期待値チェックもあります。

3. データセットの列を確認し、"フライトアラートオブジェクトタイプには、すべての既知のワークフローをサポートするために、これらの列すべてがオブジェクトプロパティとしてマップされる必要があるか？" と尋ねます。

   • 今のところ、category 列は必要ないとし、このデータセットから削除しても運用上の問題はないとしましょう。

4. これらのレビューステップを passengers_clean データセットに対しても繰り返します。このデータセットも、ベストプラクティスに従った命名とスキーマが適用されており、必要なプロパティに列が完全にマップされていると仮定しましょう。

5. オントロジープロジェクト フォルダーと関連する変換作成物を作成しましょう。../Data Engineering Tutorials/ フォルダーに戻り、Ontology Project: Flight Alerts という新しいフォルダーを作成します。

6. ベストプラクティス に従って、少なくとも以下のサブフォルダーを作成します。

   • /data
     • /transformed
     • /ontology
   • /analysis
   • /documentation

7. .../Ontology Project: Flight Alerts/data/ontology フォルダーに Pipeline Builder を使って、ontology_flight_alerts_logic という新しいバッチパイプラインを作成します。