12 - パイプラインのドキュメンテーションと更新

📖 タスクの概要

なぜ、手付かずのデータセットの clean バージョンをオントロジーの入力として直接使用しなかったのですか？

Clean データセットは、Foundry での多くの活動、分析、モデリング、その他のデータパイプラインなどの起点となります。これらは通常、 raw データに密接に似ているため、オントロジーオブジェクトとリンクタイプに必要なものよりも多くの行を含む可能性がありますが、これらの他のワークフローには非常に価値があります。また、最終的には新たな派生行をオントロジーを利用した元データセットに追加することを決定し、その変更を clean バージョンに影響を与えずに行いたいかもしれません。この中間的な変換ステップ（ clean → ontology ）は、初めて形式的に感じる場合でも常に推奨されます。

ユーザーのパイプラインには、ドキュメンテーションを作成し、スケジュールを設定し、このトレーニングのルートで学んだ方法に従って監視するべき変換ステップが追加されました。これらのまとめた推奨事項に従って知識をテストしてみてください。

🔨 タスクの説明

1. ビルドが完了したら、リポジトリの上部中央にある データフローを探索 ボタンをクリックします。
2. データセットを展開してすべての祖先ノードを表示し、それらを論理的に配置します（ヒント：すべてのノードを選択して ctrl+l をクリックしてみてください）。
3. このデータフローのグラフを /Ontology Project: Flight Alerts/documentation/ に保存します。

4. ユーザーの他のリポジトリのそれらを反映する構造の README ファイルをリポジトリに追加します。所有者情報や説明を追加することを検討してみてください。これは前のチュートリアルの タスクの概要 セクション "プロジェクトの出力を作成" セクション "パイプラインのドキュメンテーションの追加" から抽出することが可能です。

5. データフローのグラフで、スケジュール ヘルパーを開き、Flight Alerts と Passengers のスケジュールを編集して、ターゲットが以前に設定された clean データセットではなく、新しい ontology データセットになるようにします。

6. 以下のヘルスチェックをユーザーの新しいオントロジーデータセットそれぞれに適用し、それらを関連するチェックグループに追加します：

   • スキーマチェック (COLUMN_ADDITIONS_ALLOWED_ STRICT).
   • プライマリーキー (severity = critical). flight_alerts_passenger の場合、チェックを設定して alert_display_name と passenger_id の組み合わせを確認します。
   • 最終更新からの経過時間 (1 deviation > the median)

オブジェクトとリンクタイプをオントロジーで設定した後に最終的なチェックを追加します。これらの新しいデータセットはすべて、既存の スケジュールステータス と スケジュール期間 のチェックに自動的に追加されます。