5 - 브랜칭으로 파이프라인 로직 변경하기

📖 작업 소개

파이프라인을 배포한 후, flight_alerts_clean 데이터셋을 개선할 필요성에 대한 피드백을 받습니다:

• rule_id 열은 어떤 상황에서도 유용하지 않으므로 제거해야 합니다.
• 이 파이프라인을 기반으로 한 온톨로지 오브젝트 유형에서 편집 가능한 속성으로 사용할 수 있는 comment 및 assignee 열이 있으면 업무에 도움이 됩니다. 이들은 기본적으로 None 값을 가져야 합니다.

이 작업에서는 clean 파이프라인에서 브랜치를 생성하고, 변경 사항을 개발하고 테스트한 다음, 메인 브랜치로 다시 병합합니다. 아래의 지시 사항에서는 Pipeline Builder에서 브랜치를 사용하는 방법을 안내합니다. Pipeline Builder에서 브랜치에 대해 자세히 알아보려면 다음 리소스를 참조하십시오: Pipeline Builder 브랜치 문서: 브랜치 생성 → 변경 제안 → 변경 승인

🔨 작업 지침

1. clean 파이프라인을 열고 화면 오른쪽 상단의 Main ▾ 드롭다운을 클릭하여 develop라는 새 브랜치를 생성합니다.

2. 출력 clean 데이터셋과 Flight Alert Status Join 변환 사이에 새로운 변환 단계를 도입합니다.

3. 새로운 변환 경로를 Additional Cleaning으로 레이블 지정하고 다음 변환을 추가합니다:

   • rule_id 열 삭제
   • 기본 문자열 값이 None인 comment라는 상수 열 추가
   • 기본 문자열 값이 None인 assignee라는 상수 열 추가

4. 그래프로 돌아가 새로운 변환을 flight_alerts_clean 출력에 자동으로 연결해야 합니다. Pipeline Builder에서는 스키마 불일치가 발생했음을 알려주며, 출력에서는 rule_id를 찾고 있고 새로운 상수 열을 제대로 구성하지 않았습니다.

5. 오른쪽의 Pipeline outputs 패널에서 Edit 버튼을 클릭한 다음 파란색 Use updated schema 버튼을 클릭하여 스키마를 변환 로직과 일치하도록 다시 설정합니다.

6. 파이프라인을 배포합니다.

7. 출력 데이터셋 노드에서 마우스 오른쪽 버튼을 클릭하고 Open을 선택합니다(오른쪽의 ↗ 버튼을 클릭하여 새 탭에서 데이터셋을 엽니다).

8. Dataset Preview 앱의 왼쪽 상단 영역에서 데이터셋이 두 개의 브랜치에서 존재함을 확인할 수 있습니다: Master (파이프라인의 Main에 해당) 및 방금 빌드한 Develop (데이터셋이 아직 빌드 중일 수 있음).

9. 변경 사항이 좋아 보입니다. 파이프라인으로 돌아가 화면 오른쪽 상단의 Propose 버튼을 클릭하고 프롬프트에 따라 Develop 브랜치를 Main으로 병합합니다. 병합하기 전에, 이 제안을 병합한 후 "Main" 브랜치를 배포하는 옵션을 선택하세요.