注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

5 - ブランチングによるパイプラインロジックの変更

📖 タスクの概要

パイプラインをデプロイした後、flight_alerts_cleanデータセットが改善できるとのフィードバックを受け取ります:

  • rule_id行はどのコンテキストでも有用ではないため、削除するべきです。
  • このパイプラインによってバックアップされたオントロジーオブジェクトタイプで編集可能なプロパティとして機能するcommentassigneeの行があると運用上便利です。これらはデフォルトでNoneの値を持つべきです。

このタスクでは、クリーンなパイプラインをブランチ化し、これらの変更を開発しテストし、それからそれらをメインブランチにマージします。以下の指示は、Pipeline Builderでのブランチ化を通じてあなたを導きます。Pipeline Builderでのブランチ化について詳しく読みたい場合は、以下のリソースを参照してください: Pipeline Builderブランチングのドキュメンテーション:ブランチの作成変更の提案変更の承認

🔨 タスクの説明

  1. クリーンなパイプラインを開き、画面右上の Main ▾ ドロップダウンをクリックしてdevelopという新しいブランチを作成します。

  2. アウトプットのクリーンデータセットとFlight Alert Status Join変換の間に新しい変換ステップを導入します。

  3. 新しい変換パスにAdditional Cleaningとラベルを付け、次の変換を追加します:

    • rule_id行をドロップします
    • commentという名前の定数行を追加し、デフォルトの文字列値をNoneにします
    • assigneeという名前の定数行を追加し、デフォルトの文字列値をNoneにします
  4. グラフに戻ると、新しい変換が自動的にflight_alerts_cleanアウトプットに接続されているはずです。Pipeline Builderがスキーマの不一致を検出していることに注意してください。アウトプットはrule_idを探しており、新しい定数行を適切に受け入れるように設定されていません。

  5. 右側のPipeline outputsパネルで、Editボタンをクリックし、青いUse updated schemaボタンをクリックしてスキーマを再ベースライン化し、変換ロジックに合わせます。

  6. パイプラインをデプロイします。

  7. アウトプットデータセットノード上で右クリックし、Openを選択します(ボタンを右クリックしてデータセットを新しいタブで開きます)。

  8. Dataset Previewアプリの左上にあるエリアで、データセットが2つのブランチに存在することがわかります:Master(パイプラインのMainに対応します)とDevelop、これはあなたが作成したものです(データセットが実際にまだビルド中かもしれません)。

  9. 変更点は良好に見えます。パイプラインに戻り、画面右上のProposeボタンをクリックし、DevelopブランチをMainにマージするためのプロンプトに従います。マージする前に、Deploy branch "Main" after merging this proposalのオプションを選択することを忘れないでください。