Funnel ストリーミングパイプライン

バッチオントロジーデータインデックスに加えて、Object Storage V2 は、低レイテンシのストリーミングデータインデックスをオントロジーに Foundry ストリーム を 入力データソース として使用することでサポートしています。非ストリーミングの Foundry データセット用のバッチインフラストラクチャから離れることで、ストリームは、秒単位または分単位で Foundry オントロジーにデータをインデックス化し、レイテンシに敏感な運用ワークフローをサポートします。

ストリーミングオブジェクトタイプの現在の製品制限

Object Storage V2 のストリーミングでは、「最新の更新が勝つ」戦略が採用されており、すべてのストリームがチェンジログストリームのように扱われます。イベントがソースから順番に来ない場合、オントロジーに不正確なデータが格納されます。入力ストリームの順序を保証できる場合、Object Storage V2 のストリーミングは、その順序で更新を処理します。

オントロジーのストリーミング動作とその機能セットはまだ積極的に開発されており、以下はオントロジーストリーミングを使用する前に考慮すべき現在の製品制限の一部です。

• ストリーミングオブジェクトタイプでは、ユーザーによる編集はサポートされていません。回避策として、ユーザーによる編集を入力ストリームにデータ変更としてプッシュするか、非ストリーミング入力データソースを持つ追加のオブジェクトタイプを設定して、その補助オブジェクトタイプでユーザーが編集を行えるようにすることができます。
• マルチデータソースオブジェクトタイプ（MDO） は、ストリーミングオブジェクトタイプではサポートされていません。
• Workshop 以外の Foundry フロントエンドアプリケーションは、ストリーミング更新を想定していないため、ライブデータ再読み込みはサポートされていません。ストリーミングオブジェクトタイプのオントロジーデータは常に変更されていますが、Workshop 以外の場所で新しいデータが必要な場合は、再読み込みする必要があります。
• オントロジーマネージャーのオブジェクトタイプのDatasources タブでは、ユーザーは Funnel バッチパイプラインの失敗と無効なレコードについて モニター を設定できます。現在、ストリームデータソースを持つオブジェクトタイプには、モニターやメトリックのサポートがありません（例：パイプラインレイテンシ）。

ストリーミングオブジェクトタイプの設定

ストリーム入力データソースを持つオブジェクトタイプは、Pipeline Builder または Ontology Manager で直接設定されており、他の Foundry オントロジーオブジェクトタイプと同様です。

新しいオブジェクトタイプを作成した後（または既存のオブジェクトタイプを使用した後）、Ontology Manager の Datasources タブに移動し、以下に示すように Backing datasource セクションでストリーム入力データソースを選択し、変更を Foundry オントロジーに保存します。

入力データソースストリームの追加設定については、以下に示すように、省略記号ボタンを選択して詳細オプションを表示します。

ストリーミングパイプラインのデバッグ

ストリームとオントロジーの間のインターフェースは、概念的には チェンジログデータセット に似ています。入力ストリームの各レコードには、オントロジーに書き込まれる各プロパティのデータが含まれます。各レコードは、主キーで指定されたオブジェクトのすべてのプロパティを更新します。入力ストリーム上のメタデータを設定することで、入力レコードで削除を指定できます。

Funnel は、データソースストリームに書き込まれた順序でレコードをインデックス化するため、これらのストリームは、主キーでパーティション化され、イベントのタイムスタンプ順になるように、上流の Pipeline Builder パイプラインで行うことができます。

ストリームパイプラインに問題がある場合は、失敗するストリームのデバッグのドキュメントをご確認ください。