2 - 데이터 기대치 라이브러리 및 모듈 추가 및 참조

📖 작업 소개

코드에서 기대치 프레임워크를 사용하기 위해 지정된 라이브러리를 참조해야 합니다.

🔨 작업 지시사항

1. /데이터소스 프로젝트: 비행 경보 폴더의 flight_alerts_logic Code Repositories를 엽니다.
2. Master에서 yourName/기능/primary_key_check라는 이름의 새로운 브랜치를 생성합니다.
3. 저장소 왼쪽의 라이브러리 탭을 열고 transforms-expectations이 설치됨 목록에 나타나는지 확인합니다. 그렇지 않다면 검색하여 이전 튜토리얼 데이터 파이프라인 상태 모니터링에서 배운 워크플로를 사용하여 추가합니다.
4. 코드 에디터에서 flight_alerts_clean.py 변환 파일을 엽니다.
5. transforms.api에서 가져온 내용을 업데이트하여 새로운, 대소문자 구분 항목인 Check를 포함합니다.
6. transform.api 가져오기 아래의 새로운 줄에 새로운 가져오기 문장을 추가합니다: from transforms import expectations as E. 완료되면 이 변환 파일에서의 가져오기 문장은 아래 블록과 같아야 합니다:

# pyspark.sql에서 functions를 F로 import합니다. 이는 Spark SQL 함수를 사용하기 위함입니다.
from pyspark.sql import functions as F

# transforms.api에서 transform_df, Input, Output, Check를 import합니다. 이는 데이터 변환 및 검증을 위한 모듈입니다.
from transforms.api import transform_df, Input, Output, Check 

# transforms에서 expectations를 E로 import합니다. 이는 데이터 품질 검사를 위한 모듈입니다.
from transforms import expectations as E

📚 추천 읽기 (~2분 소요)

데이터 기대치 프레임워크를 성공적으로 사용하기 위한 관련 용어를 검토하려면 이 소개 기사를 참조하세요. 지금은 더 알아보기 제목 아래의 링크를 따를 필요가 없습니다.