KNN ジョイン

対応環境: バッチ

左データセットの各行に対して、距離測定に基づいて右データセットから最も近い K 行を返します。

トランスフォームカテゴリ: ジョイン

引数

• 左側で選択する列の条件 - 左側の入力スキーマ内のすべての列がこの条件に一致するかどうかをテストします。一致する場合、その列は出力に選択されます。
  ColumnPredicate
• 右側で選択する列の条件 - 右側の入力スキーマ内のすべての列がこの条件に一致するかどうかをテストします。一致する場合、その列は出力に選択されます。
  ColumnPredicate
• 距離測定の式 - 左右のデータセット間の列に対する距離測定の式。たとえば、レーベンシュタイン距離。
  Expression<Numeric>
• K 最近傍 - 返す最近傍の行数。たとえば、k=2 の場合、出力行数は倍増し、最も近い 2 行が右側から結合されます。
  Literal<Integer>
• 左データセット - ジョインに使用する左側のデータセット。
  Table
• ランク列名 - 距離のランクを格納する列の名前。
  Literal<String>
• 右データセット - ジョインに使用する右側のデータセット。
  Table
• オプション 右側の列のプレフィックス - 右側のすべての列に追加するプレフィックス。
  Literal<String>

例

例 1: 基本ケース

引数の値:

• 左側で選択する列の条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右側で選択する列の条件:
  columnNameIsIn(
   columnNames: [fuzzy_airline, home_airport],
  )
• 距離測定の式:
  alias(
   alias: distance,
   expression:
  levenshteinDistance(
   ignoreCase: true,
   left: airline,
   right: fuzzy_airline,
  ),
  )
• K 最近傍: 2
• 左データセット: ri.foundry.main.dataset.left
• ランク列名: rank
• 右データセット: ri.foundry.main.dataset.right
• 右側の列のプレフィックス: null

入力: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

出力:

---

例 2: 基本ケース

引数の値:

• 左側で選択する列の条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右側で選択する列の条件:
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 距離測定の式:
  alias(
   alias: distance,
   expression:
  levenshteinDistance(
   ignoreCase: true,
   left: airline,
   right: airline,
  ),
  )
• K 最近傍: 2
• 左データセット: ri.foundry.main.dataset.left
• ランク列名: rank
• 右データセット: ri.foundry.main.dataset.right
• 右側の列のプレフィックス: null

入力: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

出力:

---

例 3: 基本ケース

説明: 距離測定が null を返す場合、これは最遠の距離と見なされます。 引数の値:

• 左側で選択する列の条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右側で選択する列の条件:
  columnNameIsIn(
   columnNames: [fuzzy_airline, home_airport],
  )
• 距離測定の式:
  alias(
   alias: distance,
   expression:
  levenshteinDistance(
   ignoreCase: true,
   left: airline,
   right: fuzzy_airline,
  ),
  )
• K 最近傍: 2
• 左データセット: ri.foundry.main.dataset.left
• ランク列名: rank
• 右データセット: ri.foundry.main.dataset.right
• 右側の列のプレフィックス: null

入力: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

出力:

---

例 4: 基本ケース

引数の値:

• 左側で選択する列の条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右側で選択する列の条件:
  columnNameIsIn(
   columnNames: [fuzzy_airline, home_airport],
  )
• 距離測定の式:
  alias(
   alias: distance,
   expression:
  levenshteinDistance(
   ignoreCase: true,
   left: airline,
   right: fuzzy_airline,
  ),
  )
• K 最近傍: 2
• 左データセット: ri.foundry.main.dataset.left
• ランク列名: rank
• 右データセット: ri.foundry.main.dataset.right
• 右側の列のプレフィックス: right_

入力: ri.foundry.main.dataset.left

ri.foundry.main.dataset.right

出力:

---