注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

ストリーミングリソースガイド

このページには、エンドツーエンドのストリーミングワークフローを実装する際に参照する必要があるリソースが一覧表示されています。

Data Connection は、さまざまなストリーミングプラットフォームから Foundry のストリーミングデータセットにデータを同期することをサポートしており、そのデータは streaming pipelines で使用できます。ストリーミング同期により、低レイテンシーと高スループットでデータが Foundry に流れ込み、リアルタイムの意思決定プロセスをサポートします。

ストリームから Foundry へのデータを同期する方法は2つあります:

  • Data Connection はストリーミングプラットフォームから Foundry へのレコードのプルをサポートしています。バッチ同期と同様に、データはストリームから読み取られ、エージェントアーキテクチャ を使用して一方向接続のみを使用して Foundry に同期されます。
  • 必要に応じて、Foundry はストリームプロキシを介してストリームから直接 Foundry ストリームにレコードをプッシュすることを可能にします。

Foundry は、以下を含む多くのストリーミングデータソースに接続できます:

このページには、エンドツーエンドのストリーミングワークフローを実装する際に参照する必要があるリソースが一覧表示されています。

1. コアコンセプト

ストリームが何であるか、それがどのように保存され、処理されるかを理解するために、以下のイントロダクトリーコンセプトページを確認することをお勧めします。

2. 概要

これらのページは、ストリーミングがユーザーのユースケースに適しているかどうかを判断する際に考慮すべきさまざまなポイントを広範に提供します。

3. データソースに接続する

ユーザーの外部データソースを Foundry に接続するために、次のいずれかのワークフローを完了する必要があります。両方のオプションを確認して、ユーザーのユースケースに対する可能な利点と制限を理解することをお勧めします。

4. ユーザーのストリーミングデータをトランスフォームする

Pipeline Builder を使用して、ライブデータをトランスフォームできます。Pipeline Builder のトランスフォームの出力は、引き続き Foundry 全体でリアルタイムに使用できるストリーミングデータセットになります。

5. ストリーミングパイプラインの監視 [ベータ]

パイプラインのヘルスに関するアラートを設定します。

6. 開発ツール

ここでは、ストリーミングパイプラインの開発を改善するためのツールを見つけることができます。