작업 그룹

Pipeline Builder에서는 각 성공적인 배포가 하나의 빌드를 시작합니다. 기본적으로 각 배치 파이프라인 결과물은 자체 작업으로 빌드되며, 해당 작업은 독립적으로 성공하거나 실패합니다. 스트리밍 파이프라인에서는 모든 결과물이 단일 Flink 클러스터에서 실행되는 단일 작업으로 묶입니다. 따라서 모든 출력 스트림은 함께 성공하거나 실패합니다.

Pipeline Builder의 작업 그룹화를 사용하면 배치 파이프라인에서 결과물을 하나의 작업으로 묶거나 스트리밍 파이프라인에서 각 결과물을 자체 작업으로 분리할 수 있습니다. 각 작업 그룹에 대해 컴퓨트 프로필도 지정할 수 있어 결과물이 빌드되는 방식에 대한 세밀한 제어가 가능합니다.

결과물을 하나의 작업으로 그룹화하는 것은 결과물 로직을 병렬로 업데이트하려는 경우에 유용합니다. 배치 파이프라인에서는 체크포인트를 통해 공유 로직을 효율적으로 계산하려면 결과물을 동일한 작업 그룹에 배치해야 합니다. Pipeline Builder에서 체크포인트에 대해 더 알아보세요.

결과물을 더 작은 그룹이나 단일 출력 작업으로 나누는 것은 결과물이 다른 결과물로부터 독립적으로 실행되기를 원할 때 도움이 됩니다. 스트리밍 파이프라인의 각 작업 그룹이 자체 Flink 클러스터를 필요로 하므로 계산 비용이 증가함을 기억하세요.

작업 그룹 할당

작업 그룹을 할당하려면 Pipeline Builder 그래프에서 출력 노드를 마우스 오른쪽 버튼으로 클릭하여 컨텍스트 메뉴를 엽니다. 그런 다음 작업 그룹 할당에 마우스를 올려 놓으세요. 배치 파이프라인에서는 결과물이 기본적으로 단일 작업으로 설정됩니다. 스트리밍 파이프라인에서는 결과물이 기본적으로 단일 작업 그룹으로 설정됩니다.

새 그룹을 선택하여 결과물을 새 작업 그룹에 할당하세요. 빌드 설정 패널이 오른쪽에 열리고 그래프에서 쉽게 식별할 수 있도록 작업 그룹에 색상이 자동으로 할당됩니다.

다른 결과물을 편집하여 기존 또는 새 작업 그룹에 추가하세요. 또는 사이드 패널을 사용하여 결과물을 새 그룹으로 이동하세요.

패널 상단에 기본 컴퓨트 프로필이 표시됩니다. 각 작업 그룹에 대해 커스텀 프로필을 추가하려면 각 그룹의 헤더에서 프로필 추가를 선택하세요. 아래 예에서 기본 컴퓨트 프로필은 Small이지만 그룹 1은 Medium 컴퓨트 프로필로 구성되어 있습니다.

작업 그룹을 생성한 후 패널 상단의 적용을 선택하여 변경 사항을 저장하세요.

이제 파이프라인을 배포할 준비가 되었습니다.