時間制限付き順不同のドロップ

対応済み: Streaming

すべてのキー列で同じ値を持つ順不同の行をドロップします。ある行が、同じキー値を持つ既に受信済みの行よりも前に来るべきだった場合、その行は順不同とみなされます。2 行は、最初に並べ替え列と方向を評価することで比較され、同点の場合にのみ次の並べ替え列と方向に進み、順序が決定されるまでまたはすべての並べ替え列が同点になるまで続きます。その場合、行は等しいとみなされます。現在の各キーの最大値は、そのキーに対してイベント時間が有効期限以上の新しい行が見られなくなるまで保存されます。有効期限以上の新しい行が受信されなくなった後、そのキーの新しい行はドロップされることなく常に新しい現在の最大値として保存されます。

トランスフォームカテゴリ: その他

引数

• Dataset - 順不同の行をドロップするデータセット。
  Table
• Key expiration time unit - 指定されたキーの最大記録を保存する時間の単位。キーに対して状態が保存され、別のキーがこの有効期限を超えるウォーターマークで処理されると、そのキーの状態は期限切れとなり、同じキーの新しい記録はドロップされません。任意のキーに対して、新しい記録は最高の順序優先度を持っていようがいまいが、将来のこの時間量まで有効期限を押し進めます。
  Enum<Days, Hours, Milliseconds, Minutes, Seconds, Weeks>
• Key expiration time value - 指定されたキーの最大記録を保存する時間の値。キーに対して状態が保存され、別のキーがこの有効期限を超えるウォーターマークで処理されると、そのキーの状態は期限切れとなり、同じキーの新しい記録はドロップされません。任意のキーに対して、新しい記録は最高の順序優先度を持っていようがいまいが、将来のこの時間量まで有効期限を押し進めます。
  Literal<Long>
• Sort specification - 行を比較する基準を定義します。このリストは、レコードを並べ替える際に使用される列の優先順序を指定します。最初の列とその並べ替え方向が最初に適用されます。レコードがこの基準に基づいて同一の場合、後続の列とそれに対応する並べ替え方向が同点を解消するために使用されます。
  List<Tuple<列<ComparableType>, Enum<Ascending, Descending>>>
• 任意 Key by columns - キーごとに入力を分割するために使用される列。同じキー列の値を共有する行は、受信された順序で処理されます。同じキー列を持つ行が処理される順序は、並べ替え仕様で定義された順序と異なる場合があります。並べ替え仕様に基づいて、状態として保存された最高の優先度の既に処理された行の前に配置されるべき行は、順不同とみなされます。このような順不同の行は、このキーの状態が存在し期限が切れていない限り、処理中にドロップされます。
  Set<列<AnyType>>