8. [Builder] オントロジーデータパイプライン27 - 書き戻しデータセットのビルドスケジュール設定

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

27 - 書き戻しデータセットのビルドスケジュール設定

📖 タスクの概要

Ontology 対応のフロントエンドアプリケーション(例:Workshop、Slate、Object Views、Quiver で作成したアプリ)で入力された編集内容は、オブジェクトストレージサービスに保存され、書き戻しデータセットがビルドされる際にのみ書き込まれます。したがって、データエンジニアとして、チームと協力して書き戻しデータセットをどのくらいの頻度でビルドすべきかを決定し、データを最新の状態に保つための監視されたスケジュールを確立する必要があります。

🔨 タスクの説明

  1. /Ontology Project: Flight Alerts/documentation/ の Data Lineage グラフを開きます。
  2. 2つのオブジェクトタイプノードにマウスを合わせて、それぞれに新しいリンクされたデータセットを示す < をクリックします。これにより、書き戻しデータセットがグラフに表示されます。
  3. passenger_flight_alerts データセットノードの新しいリンクされたノードを展開します。これにより、リンクタイプの書き戻しデータセットが下の画像に示すようにグラフに表示されます。
    • Ontology 対応アプリを介した編集の予想される頻度や、これらの書き戻しデータセットの下流で更新されたデータが分析目的で必要とされることを考慮して、これらの書き戻しデータセットを 1 日に 2 回ビルドすることがユースケースとして想定されます。
  4. グラフ上の3つの書き戻しデータセットすべてを強調表示し、Data Lineage の右側のパネルにある スケジュールを管理 アイコンをクリックします。
  5. 青い 新しいスケジュールを作成 ボタンをクリックします。
  6. スケジュールの名前を [yourName] Flight Alerts Writeback にし、簡単な説明を追加してください:"フライトアラートのオントロジーオブジェクトとリンクタイプのスケジュール。"
    • 書き戻しデータセットがビルドの対象として設定されていることに注意してください。
  7. いつビルドするか のセクションで、特定の時間 を選択します。
  8. スケジュールを By hour で 12 時間ごとに、時間を 15 分過ぎに設定します(例えば、組織全体で急いでビルドすることが予想されるため、毎時 00 分には避ける)。
  9. 詳細オプション セクションで、ビルド失敗時に中止 を選択し、1 分間隔で 2 回リトライするようにジョブを設定します。
  10. 3 つの書き戻しデータセットすべてに 最終更新時刻からの経過時間 チェックをインストールし、13 時間以内に更新されていることを確認します(スケジュールが 12 時間ごとに実行されるため)。
  11. チェックを対応するチェックグループに追加します。