6 - 실습: 파이프라인에 데이터 기대치 구현하기

📖 작업 소개

더 많은 건강 검진 - 기대치 혹은 그 외의 것들 - 이 꼭 더 건강한 것을 의미하지는 않습니다. 파이프라인의 주요 지점에서 이러한 검사를 설정하는 것이 어디든지 설정하는 것보다 좋습니다. 예를 들어, (일정에 따른) 빌드의 입력 및 출력에 대한 검사를 설정하는 것으로 시작하세요.

모니터링 데이터 파이프라인 건강 튜토리얼과 이 튜토리얼에서 배운 것을 사용하여, 일정에 따른 빌드의 주요 입력 및 출력 노드에 데이터 기대치를 구성합니다. 이 프롬프트에는 엄격한 "정답"이 없습니다. 시작할 아이디어는 다음과 같습니다:

• 파이프라인의 "원시" 데이터셋에 대한 기본 키 검사.

• passengers_clean 데이터셋의 flyer_status 열에 대한 값 검증 검사.

• flight_alert_priority_mapping_raw 데이터셋에서 행 수 검사 (≤ 3).

• flight_alerts_platinum_${priority} 데이터셋에 platinum 상태의 승객과 ${priority} 상태 경고만 포함되어 있는지 확인하는 검증 검사(아래 이미지 참조).