7 - 스키마 기대치
이 내용은 learn.palantir.com ↗에서도 확인할 수 있으며, 접근성을 위해 여기에 제시되었습니다.
📖 작업 소개
마지막 연습으로, flight_alerts_by_country.py 변환에 제한된 스키마 기대치를 설정하게 됩니다. 이 작업은 문법에 주의를 기울이고, 체크에 전달해야 하는 인수와 스키마 기대치에 대한 특별한 고려사항을 기억하는 것이 필요합니다.
🔨 작업 지시사항
-
flight_alert_metrics_logic저장소를 열어flight_alerts_by_country.py변환 파일을Master에서 분기합니다. -
적절한 import 문을 추가하고,
pyspark.sql에서types as t를 가져옵니다. -
문서의 문법 가이드를 사용하여 스키마가
flight_date와alert_priority를 포함하고 있으며, 이들의 유형이 각각DateType()와StringType()인지 확인하는 스키마 체크를 빌드합니다. -
이 체크를 오류 시
FAIL대신WARN으로 설정합니다. -
브랜치에서 코드를 미리보기, 커밋, 빌드하고, 적절할 때
Master로 병합합니다. 생성된 각 데이터셋에 기대치가 설정되어 있는지 확인하십시오.