스트리밍 파이프라인: 개요

스트리밍 파이프라인은 실시간 데이터를 기반으로 즉각적인 중요한 결정을 내릴 수 있는 기능을 제공합니다. 전용 컴퓨팅을 사용하여 데이터를 스트림으로 처리함으로써, 스트리밍 파이프라인은 매우 낮은 지연 시간으로 레코드를 처리할 수 있습니다. 평균적으로 스트리밍 데이터는 온톨로지에서 접근 가능하고, Quiver 또는 Foundry Rules와 같은 시계열 애플리케이션에서 분석 가능한 상태로 15초 이내에 사용 가능합니다. 이러한 낮은 지연 시간을 달성하기 위해 스트림은 지속적으로 실행되는 컴퓨팅 위에 구축되며 배치 파이프라인과 비교하여 다른 아키텍처와 유지 관리 고려 사항이 필요합니다.

모범 사례

스트리밍 파이프라인을 구축할 때 다음 요소들을 고려하세요:

• 스트림은 종종 매우 운영적인 워크플로를 지원하며, 높은 가동 시간과 가용성을 보장하기 위해 다운타임, 유지 관리 및 로직 변경에 대한 주의 깊은 계획이 필요합니다.
• 스트리밍에 대한 컴퓨팅은 지속적으로 실행됩니다. 이로 인해 주기적인 배치 작업보다 높은 컴퓨팅 비용이 발생할 수 있습니다. 배치 파이프라인과 마찬가지로 가장 작은 프로파일로 시작하고 데이터의 규모가 그것을 필요로 할 경우 조정하세요.
• 스트림은 행 단위로 작동하며 데이터 전송의 낮은 지연 시간을 보장하기 위해 최대 행 크기에 제약이 있습니다. 이 제약은 개별 행당 1MB로 설정되어 있습니다.
• 상태를 사용하는 스트림(예: 윈도우 또는 집계)은 스트림 로직을 변경할 때 상태가 손상되지 않도록 설계 고려 사항이 필요합니다.

시작하기

Foundry에서 스트리밍 파이프라인을 사용하기 시작하려면, 간단한 스트리밍 파이프라인 생성 방법을 검토하고, Pipeline Builder에서 스트리밍 변환에 대해 알아보세요. Foundry에 데이터 소스를 연결하는 방법에 대해 알아보려면, 스트림에 데이터를 푸시하는 방법 또는 스트리밍 동기화 설정 방법을 검토하세요.