Pipeline Builder로 스트리밍 파이프라인 생성하기

이 튜토리얼에서는 Foundry 스트리밍과 Pipeline Builder를 사용하여 센서 온도 정보를 담은 단일 데이터셋 결과물을 가진 간단한 파이프라인을 생성합니다. Foundry에서 스트림을 생성하고, 그 스트림에 레코드를 푸시하고, Pipeline Builder에서 그들을 변환하는 방법을 배울 수 있습니다.

파트 1. 초기 설정

먼저, 새로운 스트림을 생성해야 합니다.

1. Foundry에 로그인하면, Foundry의 프로젝트로 이동한 후 오른쪽 상단에서 + New를 선택하고, 스트림을 선택합니다.

2. 다음으로, 스트림을 정의해야 합니다. 이 가이드에서는 간단한 한 파티션 스트림을 생성하고 수동으로 레코드를 푸시합니다.

정의 페이지에서, 처리량은 Normal로 선택하고 기본 스키마를 다음과 같이 정의합니다: sensor_id: 스트링, temperature: Double.

3. 스트림 생성을 선택합니다. 이렇게 하면 스트리밍 데이터에 연결하는 방법을 지정할 수 있는 연결 페이지로 이동합니다.

파트 2. 스트림에 레코드 푸시하기

이제 스트림을 연결할 준비가 되었습니다. 이 시점에서, 소스와 함께 스트리밍 데이터 수집 작업을 설정할 수 있었을 것입니다. 이 튜토리얼에서는 대신 Curl을 사용하여 수동으로 스트림에 레코드를 푸시합니다.

1. 먼저, 스트림에 대한 인증을 설정하기 위해 API를 통해 연결 섹션에서 **Curl (Bash)**를 선택합니다. 개인 토큰을 사용하여 레코드를 제출할 것입니다.

2. 개인 토큰으로 테스트를 선택하고 잠시 사용 가능한 개인 토큰을 생성하기 위한 화면 안내를 따릅니다.

   개인 토큰은 프로덕션 파이프라인에 사용해서는 안 됩니다. 프로덕션 파이프라인은 OAuth 토큰 워크플로를 사용해야 합니다.

3. 생성한 토큰을 텍스트 박스에 붙여넣고, 다음 단계를 클릭합니다.
4. Curl 명령을 복사합니다. Bash를 실행할 수 있는 컴퓨터의 터미널을 열고 명령을 붙여넣습니다. 터미널에서 명령을 실행합니다.

몇 초 내에 페이지의 스트림 뷰어에 레코드가 나타날 것입니다:

이제 실시간으로 스트리밍 데이터를 수집했습니다. 이제 그 데이터를 변환해봅시다.

파트 3. 스트림 변환하기

1. Pipeline Builder에서 기본 스트리밍 변환을 작성하기 시작하기 위해 파이프라인 시작 버튼을 선택합니다.

2. 새 파이프라인 생성 모달에서, 스트리밍 파이프라인 유형을 선택하고, 파이프라인 생성을 클릭합니다.

이렇게 하면 입력 스트림에 대한 파이프라인이 생성되고, 그래프에 표시됩니다.

입력 스트림 노드를 선택하면 데이터의 미리보기가 표시됩니다. 미리보기는 스트림의 차가운 저장소 뷰에서 실행되므로, 스트림에서 레코드가 표시되기 전에 지연될 수 있습니다.

3. 그래프에서 입력 스트림 노드를 클릭하고, 변환 액션을 선택합니다(입력 노드 옆의 파란색 T 아이콘).

   이렇게 하면 스트림의 열 입력 유형에 기반한 현재 지원되는 모든 변환의 목록이 열립니다. 이 튜토리얼에서는 모든 sensor_ids를 대문자로 변환하고, 그들에서 공백을 제거하고, 세 도를 초과하는 온도에 따라 필터링합니다.

4. 대문자 변환을 선택하고, sensor_id 열을 선택한 후 적용을 클릭합니다.

5. 그런 다음, Trim whitespace 변환을 검색하고 선택합니다. 다시 sensor_id 열을 선택하고, 적용을 클릭합니다.

6. 최종 변환을 위해 먼저 Filter 변환을 검색하고 행 유지를 선택합니다. 그런 다음, temperature 열을 선택하고, 필터를 3보다 큰으로 설정하고, 적용을 선택합니다.

7. 화면 오른쪽 상단에 있는 변경 사항 모두 적용을 클릭합니다. 그런 다음, 그래프로 돌아가기를 선택하여 파이프라인으로 돌아갑니다.

8. 방금 생성한 Transform path 노드를 선택한 다음 새 데이터셋을 클릭합니다.

9. 애플리케이션의 오른쪽 상단에서, 먼저 저장하기를 클릭하여 파이프라인에 모든 새로운 변경 사항을 적용합니다. 그런 다음, 배포와 파이프라인 배포를 클릭합니다.

10. 방금 생성한 출력 스트림 노드를 선택한 다음, 그래프 하단의 데이터 미리보기 섹션 위의 스트림 이름을 클릭합니다.

이렇게 하면 변환의 출력 스트림이 있는 스트림 미리보기 페이지로 이동합니다.

다음 단계

이제 간단한 스트리밍 파이프라인을 생성하는 방법을 알게 되었으므로, 스트림을 관리하는 방법에 대해 더 알아보기 위해 실패하는 스트림 디버그하는 방법을 탐색해보세요. 더 고급 변환 기능에 대해 알아보려면 Pipeline Builder에 대해 더 알아보세요.