27 - 書き戻しデータセットビルドのスケジュール設定

📖 タスクの概要

フロントエンドのオントロジー対応アプリケーション（たとえば、Workshop、Slate、Object Views、Quiver で構築されたアプリ）に入力された編集内容は Object Storage サービスに保存され、ビルドされたときにのみ書き戻しデータセットに書き込まれます。そのため、データエンジニアとして、チームと協力して書き戻しデータセットがどのくらいの頻度でビルドされるべきかを決定し、データを常に最新に保つための監視されたスケジュールを確立します。

🔨 タスクの説明

1. /Ontology Project: Flight Alerts/documentation/ で Data Lineage グラフを開きます。
2. 2 つのオブジェクトタイプノードにマウスを重ね、新しいリンクされたデータセットを示す < が表示されたらクリックします。これにより、書き戻しデータセットがグラフに追加されます。
3. passenger_flight_alerts データセットノード上の新しいリンクされたノードを展開します。これにより、リンクタイプの書き戻しデータセットがグラフに表示されます。
   • ユーザーの使用例では、オントロジー対応アプリを通じて行われる編集の予想頻度と、分析目的で書き戻しデータセットの下流データが必要であるため、これらの書き戻しデータセットを1日2回ビルドすることを仮定します。
4. グラフ上の 3 個の書き戻しデータセットをすべてハイライトし、Data Lineage の右側のパネルにある Manage Schedules アイコンをクリックします。
5. 青い Create new schedule ボタンをクリックします。
6. スケジュールを [yourName] Flight Alerts Writeback と名付け、簡単な説明を提供します："Schedule for flight alerts Ontology object and link types."
   • 書き戻しデータセットがビルドのターゲットとして設定されていることに注意してください。
7. When to build セクションで At a specific time を選択します。
8. スケジュールを By hour で 12 時間ごとに毎時 15 分に設定します（たとえば、毎時のトップでのビルドの予想ラッシュを避けるため）。
9. Advanced options セクションで Abort build on failure を選択し、リトライを 1 分間隔で 2 回に設定します。
10. 3 個の書き戻しデータセットそれぞれに Time Since Last Updated チェックをインストールし、13 時間以内に更新されていることを確認します（スケジュールは 12 時間ごとに実行されます）。
11. チェックを対応するチェックグループに追加します。