時間制限付き重複行削除

サポート対象: ストリーミング

指定された列のサブセットに対して、入力から重複する行を削除します。行は設定されたイベント時間の後に期限切れとなります。設定されたイベント時間を超えて遅れて到着した行は常に削除されます。指定されたキーによってパーティション分割されます。それぞれの重複行削除は、異なるキー列の値ごとに個別に計算されます。

トランスフォームカテゴリ: その他

引数

• データセット - 重複行を削除するデータセット。
  テーブル
• キーの有効期限の時間単位 - データが重複削除されるまでの待機時間の単位。
  Enum<Days, Hours, Milliseconds, Minutes, Seconds, Weeks>
• キーの有効期限の時間値 - データが重複削除されるまでの待機時間の値。
  リテラル<Long>
• 任意 列のサブセット - 任意の列が指定された場合、ユニーク性を決定する際にそれらのみが使用されます。それ以外の場合は、ストリームがキーによってキー化されるサブセットが暗黙的に使用されてユニーク性が決定されます。
  セット<列<AnyType>>
• 任意 エビクションウィンドウスライドミリ秒 - エビクションのタムリングウィンドウの長さを示す値。指定されたタイムアウト以上のイベント時間が経過した場合、状態は古いと見なされます。この値を変更することは状態の破損と見なされ、リプレイが必要です。
  タプル<リテラル<Long>, Enum<Days, Hours, Milliseconds, Minutes, Seconds, Weeks>>
• 任意 キー列 - 入力をキーでパーティション分割する列。それぞれの重複行削除は、異なるキー値ごとに個別に並列で計算されます。
  セット<列<AnyType>>