작업 실패 디버깅

Foundry에서 데이터 변환 코드를 작성하면, 작업이 처음부터 또는 일정 시간 후에 실패하는 경우가 있을 것입니다. 이 페이지는 실패하는 작업을 디버깅하는데 권장되는 워크플로와 작업이 실패하게 된 이유를 이해하는 데 도움이 되는 Foundry의 도구에 대해 설명합니다.

권장 워크플로

다음 그래프는 변환 작업 실패를 디버깅하기 위한 권장 워크플로를 제공합니다.

• [1] 아래에 문서화된 대로 작업 비교를 사용합니다.
• [2] 작업 보고서를 탐색하여 액션 > 디버그 작업으로 다시 실행 > 이전에 성공적으로 빌드된 모듈 버젼을 선택하면 특정 모듈 버젼으로 빌드를 테스트할 수 있습니다.
• [3] OOM 오류 문제 해결.
• [4] 저장소 업그레이드.
• [5] 작업 보고서로 이동하여 로그 > _driver.log > 다운로드를 선택하면 작업에 대한 드라이버 로그를 다운로드할 수 있습니다.

작업 비교

작업 비교 도구를 사용하면 현재 작업과 이전 성공적인 작업 실행을 비교할 수 있습니다. 이 도구는 변화를 조사하고 빌드 문제를 해결하는 데 유용합니다. 결과물 트랜잭션이 있는 모든 작업에 대해 빌드 보고서 페이지의 빌드 애플리케이션에서 접근할 수 있습니다. 작업 비교 도구에 접근하려면 작업 행에서 "비교" 버튼을 클릭하십시오:

비교 요약

이 탭은 작업 중에 발생한 변경 사항에 대한 전체보기를 제공합니다. 데이터셋을 클릭하면 데이터셋 앱의 비교 도구에서 트랜잭션 변경 사항을 탐색하는 새 탭이 열립니다. 저장소를 클릭하면 작업이 발생한 커밋에서 소스 저장소로 브라우저를 리디렉션하므로, 이 작업의 결과물과 연결된 파일이 아닌 전체 저장소를 탐색할 수 있습니다.

입력 변경

이 탭은 입력 데이터셋의 변경 사항에 대한 하이레벨 전체보기를 제공하며, 메타데이터, 스키마 및 통계의 변경 사항을 강조합니다. 데이터셋이 주목할 만한 열 변경 사항이 있는 경우, 해당 행을 선택하면 이러한 변경 사항에 대한 요약이 펼쳐집니다. 자세한 변경 사항을 탐색하려면, 데이터셋을 선택하면 데이터셋 앱으로 리디렉션되어 더욱 비교할 수 있습니다.

코드 변경

코드 변경 사항은 결과물이 정의된 파일에서 이 작업 실행과 이전 성공적인 실행 사이의 코드 변경 사항을 강조합니다. 자세한 내용을 위해, 소스 저장소로 리디렉션하는 버튼이 제공됩니다(소스가 Code Repositories일 때만 사용 가능). 코드 차이점은 Code Repositories나 Code Workbook을 기반으로 하는 모든 작업에서 사용할 수 있습니다.

행하는 빌드

빌드가 중단되면 위의 워크플로를 따르십시오. 이 작업을 처음 실행하는 경우, 사용자 코드로 인해 빌드가 중단되었을 가능성이 가장 높습니다.

실패한 작업과 중요한 차이점은 빌드가 취소될 때 드라이버 로그가 손실된다는 것입니다. 로그 > _driver.log > 다운로드를 선택하여 스트림된 드라이버 로그를 다운로드하거나, 스파크 상세에서 실행중인 빌드의 스냅샷을 찍을 수 있습니다. 이것들은 빌드가 취소된 후에 행하는 빌드를 문제 해결하는 데 도움이 될 것입니다.

AI 오류 개선기 (AIP)

AIP가 스택에서 활성화되어 있으면, AI 오류 개선기 위젯이 실패한 작업의 상세 보기를 보완하여 발생하는 문제를 더 잘 이해하고 해결하는 데 도움이 됩니다.