5 - パイプラインロジックをブランチで変更する

📖 タスクの概要

パイプラインをデプロイした後、flight_alerts_clean データセットに改善の余地があるというフィードバックを受け取りました。

• rule_id 列はどのコンテキストでも役に立たないため、削除する必要があります。
• comment 列と assignee 列を追加し、これらがこのパイプラインを利用したオントロジーオブジェクトタイプの編集可能なプロパティとして機能するようにすることが運用上有用です。これらはデフォルトで None の値を持つべきです。

このタスクでは、クリーンパイプラインをブランチし、これらの変更を開発およびテストし、それらをメインブランチにマージします。以下の指示に従って Pipeline Builder でブランチを作成します。Pipeline Builder でのブランチについて詳しく知りたい場合は、以下のリソースを参照してください。 Pipeline Builder のブランチドキュメント: Create a branch → Propose a change → Approve a change

🔨 タスクの説明

1. クリーンパイプラインを開き、画面右上の Main ▾ ドロップダウンをクリックして、新しいブランチ develop を作成します。

2. 出力クリーンデータセットと Flight Alert Status Join トランスフォームの間に新しいトランスフォームステップを追加します。

3. 新しいトランスフォームパスに Additional Cleaning とラベルを付け、以下のトランスフォームを追加します。

   • rule_id 列を削除する
   • デフォルト文字列値 None の定数列 comment を追加する
   • デフォルト文字列値 None の定数列 assignee を追加する

4. グラフに戻り、新しいトランスフォームが flight_alerts_clean 出力に自動的に接続されていることを確認します。Pipeline Builder がスキーマの不一致を表示していることに注意してください。出力は rule_id を探しており、新しい定数列を受け入れるように正しく構成されていません。

5. 右側の Pipeline outputs パネルで Edit ボタンをクリックし、青色の Use updated schema ボタンをクリックして、スキーマをユーザーのトランスフォームロジックに一致させるように再ベースラインします。

6. パイプラインをデプロイします。

7. 出力データセットノードを右クリックし、Open を選択します（データセットを新しいタブで開くには右の ↗ ボタンをクリック）。

8. Dataset Preview App の左上エリアで、データセットが 2 つのブランチに存在することが確認できます。Master（パイプラインの Main に対応）とユーザーが作成した Develop です（データセットは実際にはまだビルド中かもしれません）。

9. 変更が問題ないことを確認したら、パイプラインに戻り、画面右上の Propose ボタンをクリックし、プロンプトに従って Develop ブランチを Main にマージします。マージする前に、この提案をマージした後に "Main" ブランチをデプロイする オプションを選択することを忘れないでください。