5 - 언제 "파이프라인"을 생각해야 하는가!

언제 파이프라인을 빌드해야 하고, 어떻게 시작해야 할까요?

파이프라인을 개발하는 첫 번째 단계는 데이터 기반 결과에 대한 합의입니다. 이는 Contour 대시보드의 일련, Slate 애플리케이션, 또는 새로운 온톨로지 오브젝트와 링크 유형에 기반한 통합 Workshop 모듈일 수 있습니다. 목표에 대한 명확한 이해를 가지고 있으면, 이를 지원하기 위한 데이터 계획을 시작할 수 있습니다.

일반적으로 아래의 “트리거” 조합은 생산 데이터 파이프라인을 빌드해야 함을 제안할 수 있습니다 - 운영상 중요하거나 사용자 중심 워크플로를 지원하는 것이죠:

• 원하는 결과물이 명확하게 정의되었고 원본 데이터가 식별되었습니다.
• 원본 데이터와 최종 결과물을 즉시 지원하기 위한 데이터 간에 차이가 있습니다.
• 데이터 에셋을 새로고침하는 원본 데이터로 최신 상태로 유지해야 합니다.
• 최종 제품은 서비스 수준 계약(SLA)을 준수해야 합니다.

아래의 스케치에서, 팀은 내부 보고용으로 Contour 분석 및 대시보드를 생성하고, 작업대에서 쓰기-뒤로 액션을 가능하게 하는 사용자 중심 Workshop 모듈이 필요하다고 판단했습니다. 오른쪽에서 왼쪽으로 작업하면서, 지원/백업 데이터셋을 채우기 위해 필요한 데이터를 결정하고, 원시 소스(또한 식별됨)에서 풍부한 상태로 이동하기 위해 필요한 변환 단계를 논의했습니다. 예를 들어, 최종 사용자는 소스 이벤트(예: 실제로 항공편이 지연됨)와 최종 제품에 나타나는 사이에 30분 이상의 지연을 용인할 수 없다고 판단했을 수도 있습니다.