본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

지원되는 언어

데이터 변환을 시작하기 전에 각 언어의 이점과 제한 사항을 고려하는 것이 중요합니다. 이 표에는 지원되는 언어 간의 주요 차이점에 대한 요약이 포함되어 있습니다:

설명SQLPythonJava
비독점 언어: 온라인에서 사용 가능한 문서
파일 액세스 지원: Foundry 데이터셋에서 파일을 읽고 쓸 수 있습니다—이는 데이터 변환에서 비구조화된 데이터를 처리할 수 있음을 의미합니다.
Transform Level Logic Versioning (TLLV): TLLV 섹션에서 자세한 정보 확인
점진적 계산: incremental computation section에서 자세한 정보 확인
상속된 마킹 제거 지원
파일 당 허용되는 여러 출력 데이터셋
데이터셋 미리보기 지원
커스텀 Transforms 프로필

SQL

SQL은 온라인에서 사용할 수 있는 외부 문서가 많은 언어입니다. SQL로 데이터 변환을 작성하는 몇 가지 주요 이점은 다음과 같습니다:

  • SQL은 가장 높은 성능의 언어로 (대부분의 Spark 최적화 포함).
  • Transforms SQL은 SQL 구문을 확인하기 위해 샘플 SQL 쿼리를 실행할 수 있는 SQL 스크래치패드에 액세스할 수 있습니다.

SQL Transforms에 대해 더 알아보기.

Python

Python은 온라인에서 사용할 수 있는 외부 문서가 많은 언어입니다. Python의 언어 별 기능 및 라이브러리를 활용하기 위해 데이터 변환을 Python으로 작성할 수 있습니다. Python API는 SQL과 같은 다른 언어보다 하위 수준입니다. Python을 사용하는 몇 가지 주요 이점은 다음과 같습니다:

  • transforms Python 라이브러리는 파일 읽기 및 쓰기와 같은 기능을 제공하는 API입니다. 파일 기반 데이터 변환은 데이터를 구문 분석 및 정리하려는 초기 데이터 변환 파이프라인에서 유용할 수 있습니다.
  • pandas, NumPy, 기타 기계 학습 라이브러리와 같은 외부 라이브러리를 사용하는 것에 대한 일급 지원이 있습니다.
  • Spark Python (PySpark) API 전체에 액세스 할 수 있으며, 이는 다른 언어에서 지원되지 않는 Spark의 추가 기능을 포함합니다.

Python Transforms에 대해 더 알아보기.

Java

Java는 온라인에서 사용할 수 있는 외부 문서가 많은 언어입니다. Java의 언어 별 기능을 활용하기 위해 데이터 변환을 Java로 작성할 수 있습니다. Java는 SQL과 같은 다른 언어보다 하위 수준의 API입니다. Java를 사용하는 몇 가지 주요 이점은 다음과 같습니다:

  • transforms Java 라이브러리는 파일 읽기 및 쓰기와 같은 기능을 제공하는 API입니다. 파일 기반 데이터 변환은 데이터를 구문 분석 및 정리하려는 초기 데이터 변환 파이프라인에서 유용할 수 있습니다.

Java Transforms에 대해 더 알아보기.