Foundry에서 데이터 파이프라인을 생성하는 과정에서 작업 실패를 효과적으로 디버깅하거나 계산 성능을 개선하기 위해 계산이 내부적으로 어떻게 작동하는지 이해해야 하는 경우가 있을 수 있습니다. 일반적으로 예상치 못한 계산 문제나 성능 문제가 발생할 때 다음 단계를 따르십시오.
참고로 파이프라인이 배치 파이프라인인 경우, Foundry의 계산 기반이 되는 Spark 엔진을 더 잘 활용하여 일부 계산 작업을 가속할 수 있습니다. 그러나 이러한 성능 튜닝에는 제한이 있습니다. 파이프라인 입력값이 시간이 지남에 따라 급격히 증가하는 경우, 실제로 변경되는 행이나 데이터 파일만 처리하도록 파이프라인을 점진적으로 변경해야 할 수도 있습니다.
실패하는 작업이나 파이프라인을 디버깅하려면 다음 가이드를 참조하십시오:
Foundry 내부에서 계산이 어떻게 작동하는지 이해하려면 Spark 핵심 개념 탐색부터 시작하십시오.