10 - オントロジープロジェクトの構築

📖 タスクの概要

データエンジニアリングのラーニングパスでは、変換プロジェクト を作成しました。オントロジーのオブジェクトタイプやリンクタイプに使用されるデータセットは、コードリポジトリから オントロジープロジェクト に出力される必要があります。

このタスクでは、オントロジープロジェクトのフォルダーとリポジトリを設定し、準備されたデータセットを出力するコードを生成します。まず、Data Lineage グラフを開いた状態で、flight_alerts_clean と passengers_clean のデータセットを調べ、追加の準備が必要かどうかを判断しましょう。

🔨 タスクの説明

1. 開いている Data Lineage グラフで、flight_alerts_clean データセットノードをクリックし、画面の左下にある プレビュー ヘルパータブを開きます。

   • コラム名がすべて snake_case で書かれており、データが一貫して整形されていることに注意してください。また、flight_date 列を除いてすべての列が文字列です。

2. プレビュー ヘルパーの alert_display_name の隣にある "▾" をクリックし、統計を表示 を選択してプライマリキーの一意性を確認します。値のヒストグラムで、1回以上現れる値がないことを確認してください。

   • このデータセットには、プライマリキーが一意でない場合にビルドが失敗するデータ期待値チェックもあります。

3. データセットの列を確認し、「フライトアラートのオブジェクトタイプには、すべての既知のワークフローをサポートするために、これらの列のすべてがオブジェクトプロパティとしてマッピングされる必要があるか？」と尋ねます。

   • 今のところ、category 列は不要であり、このデータセットから削除しても運用上の問題はないとしましょう。

4. これらのレビューステップを passengers_clean データセットに対しても繰り返します。このデータセットも、最適な命名とスキーマの適用方法に従っており、列が必要なプロパティに完全にマッピングされていると仮定しましょう。

5. オントロジープロジェクト フォルダーと関連する変換作成物を作成しましょう。../Data Engineering Tutorials/ フォルダーに戻り、オントロジープロジェクト：フライトアラート という新しいフォルダーを作成します。

6. ベストプラクティス に従って、少なくとも以下のサブフォルダーを作成します。

   • /data
     • /transformed
     • /ontology
   • /analysis
   • /documentation

7. .../オントロジープロジェクト：フライトアラート/data/ontology フォルダーに Pipeline Builder を使用して、新しいバッチパイプラインを作成し、ontology_flight_alerts_logic と命名します。