9 - 항공편 경보와 승객 결합

📖 작업 소개

Transform 프로젝트는 일반적으로 소스를 결합하고 추가 비즈니스 로직을 적용하여 풍부한 데이터셋을 생성합니다. 일반적으로 이 데이터셋은 온톨로지 프로젝트 단계에서처럼 일반 노출을 위한 것은 아닙니다. 이 작업에서는 항공편 경보와 승객 데이터소스 프로젝트의 세 가지 깨끗한 결과물 데이터셋을 간단히 결합합니다. 이는 /transformed 코드 폴더에서 진행할 "사전 작업" 유형입니다.

먼저 약 2.5천 행의 항공편 경보 데이터셋을 사용합니다. 승객 데이터(약 1만 행)와 결합하려면 먼저 항공편 경보와 승객 테이블의 기본 키를 포함하는 passenger_flight_alert_clean 결합 테이블(약 13.2만 행)을 사용해야 합니다.

🔨 작업 지시 사항

1. 이전 연습에서 생성한 /transformed 폴더를 엽니다.

2. Pipeline builder에서 passengers_flight_alerts_transformed라는 새로운 배치 파이프라인을 생성합니다.

3. 이러닝 경로에서 생성한 다음 깨끗한 데이터셋을 추가합니다:

   • flight_alerts_clean
   • passengers_clean
   • passenger_flight_alert_clean

4. alert_display_name에서 passenger_flight_alert_clean을 왼쪽 결합하여 flight_alerts_clean에 변환을 추가합니다.

5. 변환 작업의 이름을 Alerts to Join Table로 지정합니다.

6. passenger_id를 공유 키로 사용하여 Alerts to Join Table 변환 작업을 passengers_clean에 결합하는 새로운 변환 작업 Alerts to Passengers를 생성합니다.

7. 파이프라인을 저장합니다.