注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

タイムスタンプとウォーターマークの割り当て

サポート対象: ストリーミング

入力にタイムスタンプとウォーターマークを割り当て、タイムスタンプがnullのレコードをフィルター処理する。

トランスフォームカテゴリ: その他

引数

  • Dataset - タイムスタンプとウォーターマークを割り当てるデータセット。
    Table
  • Timestamp expression - 割り当てるタイムスタンプを評価する式。
    Expression<Timestamp>
  • 任意 Emit watermark on every record - trueの場合、ストリーム内のすべてのレコードに対してウォーターマークが伝播される。これは通常効率が悪く、パフォーマンスのオーバーヘッドを引き起こすが、ストリームを再生する際には決定的な動作を保証する。ほとんどの場合、この値をfalseに設定することを推奨。
    Literal<Boolean>

例 1: 基本ケース

引数の値:

  • Dataset: ri.foundry.main.dataset.a
  • Timestamp expression: timestamp
  • Emit watermark on every record: null

入力:

timestamptemperaturesensor_id
1969-12-31T23:59:50Z28sensor_1
1969-12-31T23:59:40Z30sensor_2
1969-12-31T23:59:35Z29sensor_1

出力:

timestamptemperaturesensor_id
1969-12-31T23:59:50Z28sensor_1
1969-12-31T23:59:40Z30sensor_2
1969-12-31T23:59:35Z29sensor_1

例 2: Nullケース

引数の値:

  • Dataset: ri.foundry.main.dataset.a
  • Timestamp expression: timestamp
  • Emit watermark on every record: null

入力:

timestamptemperaturesensor_id
1969-12-31T23:59:50Z28sensor_1
null30sensor_2
null29sensor_1

出力:

timestamptemperaturesensor_id
1969-12-31T23:59:50Z28sensor_1