데이터 통합Pipeline Builder파이프라인 관리네이티브 가속화

본 번역은 검증되지 않았습니다. AIP를 통해 영문원문으로부터 번역되었습니다.

네이티브 가속화

이 페이지는 Velox와 함께 Pipeline Builder에서 일괄 처리 파이프라인을 네이티브로 가속화하는 기능과 모범 사례를 개요로 설명합니다.

네이티브 가속화는 하드웨어 최적화를 저수준에서 활용하여 일괄 작업의 성능을 향상시키는 기술입니다. 플랫폼 특정 기능을 활용하여, 네이티브 가속화는 대규모 데이터 작업량을 처리하는 데 걸리는 시간을 크게 줄이는 것을 목표로 합니다. 이로 인해 작업 실행이 빨라지고 리소스 활용이 향상될 수 있습니다.

빌드 설정

파이프라인의 빌드 설정배포 옆의 설정 아이콘을 선택하여 편집할 수 있습니다. 기본 컴퓨트 프로파일 아래에서 네이티브 가속화를 선택하여 파이프라인에 대한 네이티브 가속화를 활성화할 수 있습니다.

빌드 설정 드롭다운의 스크린샷

가속화된 파이프라인에 대한 메모리 설정

네이티브 가속화된 파이프라인을 최적화하려면 오프-힙 메모리 분배를 설정해야 합니다. 이 메모리는 Velox가 JVM 외부에서 일부 작업을 처리하는 데 사용됩니다. HIGH로 시작하여 성능을 관찰하고 필요에 따라 오프-힙 메모리를 늘리거나 줄이는 것이 좋습니다.