関数インデックス

Pipeline Builder は、さまざまなレベルで操作する式を提供します。一般的には、行レベル、集計、またはジェネレーターとしてカテゴリー化することができます。

行レベルの関数は、単一行からの値に対して操作します。ほとんどの式がこのカテゴリーに該当します。たとえば、add などです。

集計は複数の行値を一つに集約します。たとえば、'sum' 式などです。

ジェネレーターは単一行から複数の値を生成します。たとえば、'explode_array' 式などです。

変換は、全体のテーブルまたは複数のテーブルに対して操作する関数です。たとえば、'drop' 変換などです。以下の文書では、利用可能な式と変換について概説します。

行レベルの式

---

絶対値

対応している: バッチ、ストリーミング

絶対値を返します。 式のカテゴリー：数値

タイプ変数の境界：
T は数値を受け付けます

出力タイプ： T

例

引数の値：

• 式： numeric_column

詳細はこちらを参照してください。

---

数値の加算

対応している: バッチ、ストリーミング

すべての入力列の合計を計算します。 式のカテゴリー：数値

出力タイプ： 数値

例

引数の値：

• 式： [col_a, col_b]

詳細はこちらを参照してください。

---

日付に値を加算

対応している: バッチ、ストリーミング

'start' から 'value' 日/週/月/四半期/年後の日付を返します。 式のカテゴリー：日時

出力タイプ： 日付

例

引数の値：

• 日付： 2022-02-01
• 単位： DAYS
• 値： 2 出力： 2022-02-03

詳細はこちらを参照してください。

すべての配列要素が満たす

対応している: バッチ、ストリーミング

配列のすべての要素に対して、表現が真であれば真を返します。 表現のカテゴリー: 配列

出力タイプ: ブーリアン

例

引数の値:

• 配列: miles
• ブーリアン条件:
  isNull(
   expression: element,
  )

詳細はこちらをご覧ください。

---

And

対応している: バッチ、ストリーミング

指定されたすべての条件が真であれば真を返します。Nullは偽と見なされます。 表現のカテゴリー: ブーリアン

出力タイプ: ブーリアン

例

引数の値:

• 条件: [left_boolean, right_boolean]

詳細はこちらをご覧ください。

---

任意の配列要素が満たす

対応している: バッチ、ストリーミング

配列の任意の要素に対して、表現が真であれば真を返します。 表現のカテゴリー: 配列

出力タイプ: ブーリアン

例

引数の値:

• 配列: miles
• ブーリアン条件:
  isNull(
   expression: element,
  )

詳細はこちらをご覧ください。

---

Arccos

バッチ、ストリーミングで対応

逆余弦関数。 式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

• 角度単位: radians
• 値: 1.0 出力: 0.0

詳細はこちらをご覧ください。

---

Arcsin

バッチ、ストリーミングで対応

逆正弦関数。 式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

• 角度単位: radians
• 値: 0.0 出力: 0.0

詳細はこちらをご覧ください。

---

Arctan

バッチ、ストリーミングで対応

逆正接関数。 式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

• 角度単位: degrees
• 値: angle

詳細はこちらをご覧ください。

---

Arctan2

バッチ、ストリーミングで対応

原点から点 (x, y) への光線と正の x 軸の間の角度 θ を返し、−π<θ<=π に制限します。 式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

• 角度単位: degrees
• X: x
• Y: y

詳細はこちらをご覧ください。

面積

対応：バッチ、ストリーミング

地球を球として近似した際の、ジオメトリの面積を平方メートルで計算します。ラインストリングまたはポイントの場合、これは0となります。 表現カテゴリー：地理空間

出力タイプ： Double

詳細はこちらをご覧ください。

---

Array add

対応：バッチ、ストリーミング

指定されたインデックスに値を配列に追加します。 表現カテゴリー：配列

型変数の範囲：
TはAnyTypeを受け入れます

出力タイプ： Array<T>

例

引数の値：

• 配列： numbers
• インデックス： 1
• 値： 1

詳細はこちらをご覧ください。

---

Array cartesian product

対応：バッチ、ストリーミング

配列のデカルト積を計算します。 表現カテゴリー：配列

出力タイプ： Array<Struct>

例

引数の値：

• 式：[first, second]

詳細はこちらをご覧ください。

---

Array concat

対応：バッチ、ストリーミング

提供された配列を単一の配列に連結します、重複は排除されません。 表現カテゴリー：配列

型変数の範囲：
TはAnyTypeを受け入れます

出力タイプ： Array<T>

例

引数の値：

• 式：[[ 1, 2, 3 ], [ 4, 5 ]] 出力： [ 1, 2, 3, 4, 5 ]

詳細はこちらをご覧ください。

配列に含まれる

対応している: バッチ, ストリーミング

配列が値を含む場合、true を返します。 表現カテゴリー: 配列, ブーリアン

出力タイプ: ブーリアン

例

引数の値:

• 配列: part_ids
• 値: BRR-123

詳細はこちらをご覧ください。

---

配列に null を含む

対応している: バッチ, ストリーミング

配列が null を含む場合、true を返します。 表現カテゴリー: 配列, ブーリアン

出力タイプ: ブーリアン

例

引数の値:

• 式: part_ids

詳細はこちらをご覧ください。

---

配列の差

対応している: バッチ, ストリーミング

左の配列に存在し、右の配列には存在しないすべての一意の要素を返します。 表現カテゴリー: 配列

タイプ変数の制約:
T は AnyType を受け入れます

出力タイプ: 配列<T>

例

引数の値:

• 左の配列: [ 1, 2, 3 ]
• 右の配列: [ 2, 3, 4 ] 出力: [ 1 ]

詳細はこちらをご覧ください。

---

配列の重複要素を除去

対応している: バッチ, ストリーミング

重複を除去し、配列から一意の値を返します。 表現カテゴリー: 配列

タイプ変数の制約:
T は AnyType を受け入れます

出力タイプ: 配列<T>

例

引数の値:

• 式: [ 1, 1, 2, 3 ] 出力: [ 1, 2, 3 ]

詳細はこちらをご覧ください。

---

配列要素

対応している: バッチ, ストリーミング

入力配列から指定した位置の要素を返します。配列の範囲外の位置は nullを返します。 表現カテゴリー: 配列

タイプ変数の制約:
T は AnyType を受け入れます

出力タイプ: T

例

引数の値:

• 配列: [ 10, 11, 12 ]
• 位置: 1 出力: 10

詳細はこちらをご覧ください。

配列のフラット化

バッチおよびストリーミングで対応

入力されたネストされた配列から、最初のレベルのネスト内の要素を結合して単一の配列を作成します。 式カテゴリー: 配列

型変数の範囲：
TはAnyTypeを受け入れます

出力タイプ： Array<T>

例

引数の値：

• 式: array

詳細はこちらを参照してください。

---

配列の交差

バッチおよびストリーミングで対応

重複を削除し、配列のリストを交差させます。 式カテゴリー: 配列

型変数の範囲：
TはAnyTypeを受け入れます

出力タイプ： Array<T>

例

引数の値：

• 式: [[ 1, 2, 3 ], [ 3, 4 ]] 出力： [ 3 ]

詳細はこちらを参照してください。

---

配列の最大値

バッチおよびストリーミングで対応

配列行の最大値を返します。 式カテゴリー: 配列

型変数の範囲：
TはNumericを受け入れます

出力タイプ： T

例

引数の値：

• 式: [ 1, 2, 3 ] 出力： 3

詳細はこちらを参照してください。

---

配列の最小値

バッチおよびストリーミングで対応

配列行の最小値を返します。 式カテゴリー: 配列

型変数の範囲：
TはNumericを受け入れます

出力タイプ： T

例

引数の値：

• 式: [ 1, 2, 3 ] 出力： 1

詳細はこちらを参照してください。

---

配列の位置

バッチおよびストリーミングで対応

与えられた配列内で'value'が最初に出現する位置/インデックスを返します。値が見つからない場合や、引数のいずれかがnullの場合はnullを返します。 式カテゴリー: 配列

型変数の範囲：
TはAnyTypeを受け入れます

出力タイプ： Long

例

引数の値：

• 配列: [ 10, 11, 12 ]
• 値: 10 出力： 1

詳細はこちらを参照してください。

配列から削除

対応している: バッチ, ストリーミング

指定した 'value' を含む要素をすべて削除した配列を返します。 式のカテゴリー: 配列

型変数の範囲：
T は AnyType を受け入れます

出力タイプ: Array<T>

例

引数の値：

• 配列: [ 1, 2, 3 ]
• 値: 1 出力: [ 2, 3 ]

詳細は こちら を参照してください。

---

配列の繰り返し

対応している: バッチ, ストリーミング

array の内容を value 回連結した配列を返します。 式のカテゴリー: 配列

型変数の範囲：
T は AnyType を受け入れます

出力タイプ: Array<T>

例

引数の値：

• 配列: [ 1, 2 ]
• 値: 2 出力: [ 1, 2, 1, 2 ]

詳細は こちら を参照してください。

---

配列の逆順

対応している: バッチ, ストリーミング

'array' の要素の並び順を逆にします。 式のカテゴリー: 配列

型変数の範囲：
T は AnyType を受け入れます

出力タイプ: Array<T>

例

引数の値：

• 式: [ 1, 2, 3 ] 出力: [ 3, 2, 1 ]

詳細は こちら を参照してください。

---

配列の並べ替え

対応している: バッチ, ストリーミング

指定した入力配列を並べ替えた配列を返します。すべての null 値は、降順配列の末尾と昇順配列の先頭に配置されます。 式のカテゴリー: 配列

型変数の範囲：
T は ComparableType を受け入れます

出力タイプ: Array<T>

例

引数の値：

• 方向: ASCENDING
• 式: [ 5, 3, 6 ] 出力: [ 3, 5, 6 ]

詳細は こちら を参照してください。

---

配列の和集合

対応している: バッチ, ストリーミング

配列のリストから重複を削除し、和集合を求めます。 式のカテゴリー: 配列

型変数の範囲：
T は AnyType を受け入れます

出力タイプ: Array<T>

例

引数の値：

• 式: [[ 1, 2, 3 ], [ 3, 4 ]] 出力: [ 1, 2, 3, 4 ]

詳細は こちら を参照してください。

---

配列が交差しているか

対応している: バッチ, ストリーミング

与えられた配列が少なくとも1つの共通要素を持っているかどうかを確認します。 式のカテゴリー: 配列, ブール

型変数の範囲：
T は AnyType を受け入れます

出力タイプ: Boolean

例

引数の値：

• 式: [[ 1, 2, 3 ], [ 3, 4 ]] 出力: true

詳細は こちら を参照してください。

---

配列の結合

対応している: バッチ, ストリーミング

与えられた配列のリストを、n番目の構造体にすべての入力配列のn番目の値を含む結合した配列の構造体に変換します。 式のカテゴリー: 配列

出力タイプ: Array<Struct>

例

引数の値：

• 式: [first_array, second_array]

詳細は こちら を参照してください。

---

文字列への Base 64 デコード

対応している: バッチ, ストリーミング

与えられた式を Base64 でデコードします。バイナリのエンコーディングには utf-8 を使用します。 式のカテゴリー: バイナリ, キャスト, 文字列

出力タイプ: String

例

引数の値：

• 式: encoded

詳細は こちら を参照してください。

Base64デコード

対応環境：バッチ、ストリーミング

指定された式をBase64でデコードします。 式のカテゴリー：バイナリー、キャスト

出力タイプ： バイナリー

例

引数の値：

• 式： city_base64

詳細はこちらをご覧ください。

---

Base64エンコード

対応環境：バッチ、ストリーミング

指定された式をBase64でエンコードします。 式のカテゴリー：バイナリー、キャスト

出力タイプ： 文字列

例

引数の値：

• 式： city

詳細はこちらをご覧ください。

---

ビットシフト左

対応環境：バッチ、ストリーミング

指定された値を左にビット数分シフトします。 式のカテゴリー：バイナリー

型変数の範囲：
Eは Byte | Integer | Long | Short を受け入れます

出力タイプ： E

例

引数の値：

• 式： 1
• ビット数： 1 出力： 2

詳細はこちらをご覧ください。

---

ビットシフト右

対応環境：バッチ、ストリーミング

指定された値を右にビット数分シフトします。 式のカテゴリー：バイナリー

型変数の範囲：
Eは Byte | Integer | Long | Short を受け入れます

出力タイプ： E

例

引数の値：

• 式： 1
• ビット数： 1 出力： 0

詳細はこちらをご覧ください。

---

Buffer H3インデックス

対応環境：バッチ、ストリーミング

H3インデックスの配列から距離kのバッファを作成します。 式のカテゴリー：地理空間

出力タイプ： 配列<H3 Index>

詳細はこちらをご覧ください。

---

目的地計算

対応環境：バッチ、ストリーミング

指定された起点、コース、距離から指定のパスに沿った目的地を計算します。 式のカテゴリー：地理空間

出力タイプ： 地点

例

引数の値：

• コース： course
• 距離： distance
• 起点： point_a
• 計算方法： GREAT_CIRCLE

詳細はこちらをご覧ください。

---

ハヴァサイン距離の計算

対応環境：バッチ、ストリーミング

緯度と経度の点対間のハヴァサイン距離をメートルで計算します。 式のカテゴリー：地理空間

出力タイプ： Double

例

引数の値：

• Point a： point_a
• Point b： point_b

詳細はこちらをご覧ください。

タイムスタンプ/日付の差を計算

対応している環境: バッチ、ストリーミング

指定された時間単位の差を返します。 表現カテゴリー: 日付時刻

出力タイプ: Long

例

引数の値:

• End: 2022-10-01T10:00:00Z
• Start: 2022-10-01T09:00:00Z
• Unit: HOURS 出力: 1

詳細についてはこちらを参照してください。

---

Case

対応している環境: バッチ、ストリーミング

条件に基づいて異なるブランチを選択します。 表現カテゴリー: 人気

型変数の範囲:
T は AnyType を受け入れます

出力タイプ: T

例

引数の値:

• Default: Yes
• Branches: [(
  lessThan(
   left: miles,
   right: 15000,
  ), No)]

詳細についてはこちらを参照してください。

---

Cast

対応している環境: バッチ、ストリーミング

式を指定された型にキャストします。 表現カテゴリー: キャスト、人気

型変数の範囲:
C は AnyType を受け入れます

出力タイプ: C

例

説明: long を string にキャスト 引数の値:

• Expression: 1234
• Type: String 出力: 1234

詳細についてはこちらを参照してください。

---

Ceil

対応している環境: バッチ、ストリーミング

与えられた小数値の ceil を返します。 表現カテゴリー: 数値

出力タイプ: Decimal | Long

例

引数の値:

• Expression: 10.123 出力: 11

詳細についてはこちらを参照してください。

---

文字単位で文字列を置換

対応している環境: バッチ、ストリーミング

入力行から見つかった一致文字列の個々の文字を、置換文字列の対応する文字に置換します。一致文字列が置換文字列よりも長い場合、一致文字列の末尾の文字が削除されます。 表現カテゴリー: 文字列

出力タイプ: String

例

引数の値:

• Expression: translate
• Matching string: rnlt
• Replacement string: 123 出力: 1a2s3ae

詳細についてはこちらを参照してください。

---

文字列をチャンク化

対応している環境: バッチ

指定されたサイズと区切り文字で文字列をチャンクに分割します。 表現カテゴリー: 文字列

出力タイプ: Array<String>

例

引数の値:

• Expression: string
• Chunk overlap: null
• Chunk size: 10
• Keep separator: null
• Separators: null

詳細についてはこちらを参照してください。

---

暗号の復号化

対応している環境: バッチ、ストリーミング

式を暗号で復号化します。 表現カテゴリー: その他

出力タイプ: String

例

引数の値:

• Cipher license rid: ri.bellaso.main.cipher-license.1-decrypt
• Expression: string

詳細についてはこちらを参照してください。

---

暗号の暗号化

対応している環境: バッチ、ストリーミング

式を暗号で暗号化します。 表現カテゴリー: その他

出力タイプ: Cipher Text

例

引数の値:

• Cipher license rid: ri.bellaso.main.cipher-license.1-encrypt
• Expression: string

詳細についてはこちらを参照してください。

Cipher hash

対応している: バッチ、ストリーミング

シファーで表現をハッシュ化します。 表現のカテゴリー: その他

出力タイプ: Cipher Text

例

引数の値:

• Cipher license rid: ri.bellaso.main.cipher-license.1-hash
• Expression: string

詳細はこちらをご覧ください。

---

Clean string

対応している: バッチ、ストリーミング

表現にクリーンアクションのセットを適用します。 表現のカテゴリー: データの準備、文字列

出力タイプ: String

例

引数の値:

• Clean actions: {trim}
• Expression: hello world
  出力: hello world

詳細はこちらをご覧ください。

---

文字列の連結

対応している: バッチ、ストリーミング

指定されたセパレーターで文字列のリストを連結します。 表現のカテゴリー: 文字列

出力タイプ: String

例

引数の値:

• Expressions: [hello, world]
• Separator: _ 出力: hello_world

詳細はこちらをご覧ください。

---

Gotham delegated binary media reference の構築

対応している: バッチ、ストリーミング

コンポーネントから Gotham delegated binary media reference のインスタンスを構築し、Geotime への簡単なインジェストを可能にします。 表現のカテゴリー: その他

出力タイプ: Gotham delegated binary media

例

引数の値:

• Delegated media Gotham identifier (GID): delegatedMediaGid
• Delegated media description: description
• Delegated media mime type: mimeType
• Delegated media title: title

---

Delegated media Gotham identifier (GID) の構築

対応している: バッチ、ストリーミング

コンポーネントから有効な delegated media Gotham identifier (GID) を構築する表現。結果が 1024 文字を超える場合、null 行を生成します。 表現のカテゴリー: その他

出力タイプ: Delegated media Gotham identifier (GID)

例

引数の値:

• Media locator: locator
• Media type: mediaType
• Producer instance: invalidUuid

詳細はこちらをご覧ください。

---

GeoPoint 行の構築

対応している: バッチ、ストリーミング

緯度と経度の行から GeoPoint 行を構築します。緯度パラメーターが -90 から 90 まで、経度パラメーターが -180 から 180 までの範囲内であることを検証します。そうでない場合は、null 値を返します。 表現のカテゴリー: 地理空間

出力タイプ: Geo-point

詳細はこちらをご覧ください。

---

GeoPoint を MGRS に変換

対応している: バッチ、ストリーミング

WGS84 座標系に従う GeoPoint を MGRS (military grid reference system) 座標に変換します。出力される MGRS は、スペースで区切られた形式で、精度は 5 桁です。 表現のカテゴリー: 地理空間

出力タイプ: MGRS

例

引数の値:

• Expression: geoPoint

詳細はこちらをご覧ください。

MGRS を GeoPoint に変換する

対応している処理タイプ: バッチ、ストリーミング

MGRS (軍事グリッド参照システム) 座標を WGS84 座標系 (EPSG:4326) に従った GeoPoint に変換します。 ジオスパシャルの式カテゴリー

出力タイプ: ジオポイント

例

引数の値:

• 式: mgrs

詳細は こちら を参照してください。

---

文字列を日付に変換する

対応している処理タイプ: バッチ、ストリーミング

Java DateTimeFormatter に準拠した書式の文字列を日付に変換して返します。デフォルトの書式は yyyy-MM-dd および yyyy-MM-dd'T'HH:mm:ss.SSSXXX です。書式は順番に実行され、最初に一致する書式が返されます。 キャスト、日付時刻の式カテゴリー

出力タイプ: 日付

例

説明: 日付書式はオプションです 引数の値:

• 文字列: 2020-04-28
• 書式: null 出力: 2020-04-28

詳細は こちら を参照してください。

---

文字列をタイムスタンプに変換する

対応している処理タイプ: バッチ、ストリーミング

Java DateTimeFormatter に準拠した書式の文字列をタイムスタンプに変換して返します。デフォルトの書式は yyyy-MM-dd'T'HH:mm:ss.SSSXXX および yyyy-MM-dd です。書式は順番に実行され、最初に一致する書式が返されます。 キャスト、日付時刻の式カテゴリー

出力タイプ: タイムスタンプ

例

引数の値:

• 文字列: timestamp
• 書式: [dd-yyyy-MM HH:mm, yyyy-MM-dd]
• タイムゾーン: null

詳細は こちら を参照してください。

---

基数を変換する

対応している処理タイプ: バッチ

ある基数から別の基数に数値（またはその文字列表現）を変換します。 バイナリ、キャスト、数値の式カテゴリー

出力タイプ: 文字列

例

引数の値:

• 式: 4A801
• 元の基数: 16
• 変換後の基数: 10 出力: 305153

詳細は こちら を参照してください。

---

角度単位間の変換

対応している処理タイプ: バッチ、ストリーミング

ジオスパシャル、数値の式カテゴリー

出力タイプ: Double

詳細は こちら を参照してください。

---

距離単位間の変換

対応している処理タイプ: バッチ、ストリーミング

数値の式カテゴリー

出力タイプ: Double

詳細は こちら を参照してください。

時間単位の変換

対応しているのは: バッチ、ストリーミング

式のカテゴリー: 日時

出力タイプ: Double

詳細はこちらをご覧ください。

---

重量単位の変換

対応しているのは: バッチ、ストリーミング

式のカテゴリー: 数値

出力タイプ: Double

詳細はこちらをご覧ください。

---

16進数からの変換

対応しているのは: バッチ

hex の逆変換。各ペアの文字を16進数として解釈し、その数値のバイト表現に変換します。 式のカテゴリー: 数値、文字列

出力タイプ: バイナリー

例

引数の値:

• 式: string_hex

詳細はこちらをご覧ください。

---

16進数から文字列への変換

対応しているのは: バッチ、ストリーミング

hex の逆変換、各ペアの文字を16進数として解釈し、その数値のバイト表現のutf-8文字列に変換します。 式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

• 式: string_hex

詳細はこちらをご覧ください。

---

ジオポイントをジオメトリに変換

対応しているのは: バッチ、ストリーミング

ジオポイントをポイントタイプのGeoJSONに変換します。 式のカテゴリー: 地理空間

出力タイプ: ジオメトリー

詳細はこちらをご覧ください。

---

地心座標をWGS 84 測地座標に変換。

対応しているのは: バッチ、ストリーミング

地心直交座標を測地極座標に変換します。高度は楕円体上の高さとして定義されます。いずれかの座標が null の場合、出力は null になります。 式のカテゴリー: 地理空間

出力タイプ: 高度付きジオポイント

例

引数の値:

• X 座標: x_coordinate
• Y 座標: y_coordinate
• Z 座標: z_coordinate

詳細は こちら を参照してください。

---

古い OffsetDateTime を変換する

Batch で対応可能

古い OffsetDateTime 行を、すべての Foundry パイプラインで使用できるタイムスタンプに変換します。タイムスタンプは UTC で返されます。 表現カテゴリー: Datetime

出力タイプ: Timestamp

詳細は こちら を参照してください。

---

ラインストリングをポリゴンに変換

Batch、Streaming で対応可能

ラインストリングジオメトリをポリゴンジオメトリに変換します。この表現は、ラインストリングジオメトリが閉じていることを前提としています。そうでない場合、表現は null を返します。 表現カテゴリー: Geospatial

出力タイプ: Geometry

例

引数の値:

• 表現: polygon_points

詳細は こちら を参照してください。

---

オントロジーのジオポイントを変換

Batch、Streaming で対応可能

オントロジーのジオポイントを通常のジオポイントに変換します。オントロジーのジオポイントは '{lat},{lon}' の形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 です。通常のジオポイントは {"longitude": {long},"latitude": {lat}} の形式の構造体です。 表現カテゴリー: Geospatial

出力タイプ: Geo-point

例

引数の値:

• 表現: geopoint

詳細は こちら を参照してください。

---

UTC からのタイムスタンプを変換

Batch、Streaming で対応可能

指定されたタイムゾーンに基づいて UTC からタイムスタンプを変換します。 表現カテゴリー: Datetime

出力タイプ: Timestamp

例

引数の値:

• タイムゾーン: EST
• タイムスタンプ: 2020-04-28T10:09:00Z 出力: 2020-04-28T05:09:00Z

詳細は こちら を参照してください。

---

タイムスタンプを UTC に変換

Batch、Streaming で対応可能

指定されたタイムゾーンに基づいてタイムスタンプを UTC に変換します。 表現カテゴリー: Datetime

出力タイプ: Timestamp

例

引数の値:

• タイムゾーン: EST
• タイムスタンプ: 2020-04-28T10:09:00Z 出力: 2020-04-28T15:09:00Z

詳細は こちら を参照してください。

---

16進数に変換

Batch、Streaming で対応可能

指定された表現の16進数を計算します。 表現カテゴリー: Numeric, String

出力タイプ: String

例

引数の値:

• 表現: city_hex

詳細は こちら を参照してください。

---

8進数に変換

Batch、Streaming で対応可能

指定された表現の8進数を計算します。 表現カテゴリー: Numeric

出力タイプ: String

例

引数値：

• Expression：12345 出力： 30071

詳細はこちらをご覧ください。

---

Cosine

対応環境：バッチ、ストリーミング

角度の余弦を取ります。 Expression カテゴリー：数値

出力タイプ： Double

例

引数値：

• 角度単位：degrees
• 角度値：angle

詳細はこちらをご覧ください。

---

オントロジー geo-point の作成

対応環境：バッチ、ストリーミング

geo-point を、オントロジーが geo-indexed 行（geohash タイプの行）として受け入れる文字列に変換します。オントロジー geo-points は '{lat},{lon}' の形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 です。 Expression カテゴリー：地理空間

出力タイプ： オントロジー Geo-point

例

引数値：

• Expression：point

詳細はこちらをご覧ください。

---

空の配列の作成

対応環境：バッチ、ストリーミング

指定したタイプの空の配列を返します。 Expression カテゴリー：配列

Type variable bounds:
T は AnyType を受け入れます

出力タイプ： 配列<T>

例

引数値：

• Type：文字列 出力： [ ]

詳細はこちらをご覧ください。

---

配列の作成

対応環境：バッチ、ストリーミング

提供された行から配列を作成します。 Expression カテゴリー：配列

Type variable bounds:
T は AnyType を受け入れます

出力タイプ： 配列<T>

例

引数値：

• Expressions：[1, 2, 3] 出力： [ 1, 2, 3 ]

詳細はこちらをご覧ください。

---

楕円形のジオメトリーの作成

対応環境：バッチ、ストリーミング

与えられた地理座標で中心化された多角形として楕円を近似します。地点間の距離は、地球の表面を近似する WGS84 楕円体の表面に沿って計算されます。 Expression カテゴリー：地理空間

出力タイプ： ジオメトリー

詳細はこちらをご覧ください。

---

座標系からジオポイントの作成

対応環境：バッチ、ストリーミング

ソース座標系からの座標対を取り、それらを WGS 84 の緯度/経度値に変換します。座標系（または座標参照系または空間参照系とも呼ばれる）は、地球上の点の位置を特定するためのさまざまなシステムを表し、EPSG などの標準化されたデータベースではキーでしばしば識別されます。指定された投影がサポートされていない場合やどちらかの座標が null の場合は、null を返します。 Expression カテゴリー：地理空間

出力タイプ： ジオポイント

例

引数値：

• Source coordinate system：EPSG:32618
• X coordinate：x_coordinate
• Y coordinate：y_coordinate

詳細はこちらをご覧ください。

---

測地線ストリングの作成

対応環境：バッチ、ストリーミング

2点間の測地線を作成します。 Expression カテゴリー：地理空間

出力タイプ： ジオメトリー

詳細はこちらをご覧ください。

ラインストリングのジオメトリを作成

対応している処理タイプ: バッチ, ストリーミング

与えられた点からGeoJSONのラインストリングジオメトリを作成します。 表現カテゴリー: ジオスペーシャル

型変数の範囲:
T は Struct<longitude, latitude> を受け入れる

出力タイプ: Geometry

例

引数の値:

• ポイント: points

詳細はこちらを参照してください。

---

配列からマップを作成

対応している処理タイプ: バッチ, ストリーミング

2つの配列をzipしてキーと値のペアからマップを作成します。キーとしてのnull値は許可されず、実行時エラーを引き起こします。 表現カテゴリー: 配列, マップ

型変数の範囲:
K は AnyType を受け入れる
V は AnyType を受け入れる

出力タイプ: Map<K, V>

例

引数の値:

• キーの配列: [ 1, 2, 3 ]
• 値の配列: [ 4, 5, 6 ] 出力: {
   1 -> 4,
   2 -> 5,
   3 -> 6,
  }

詳細はこちらを参照してください。

---

null値を作成

対応している処理タイプ: バッチ, ストリーミング

指定されたタイプのnull値を返します。 表現カテゴリー: データ準備

型変数の範囲:
T は AnyType を受け入れる

出力タイプ: T

例

引数の値:

• タイプ: String 出力: null

詳細はこちらを参照してください。

---

レンジファンのジオメトリを作成

対応している処理タイプ: バッチ, ストリーミング

指定された原点点から最小半径と最大半径の間の距離があり、原点からの方位角が指定された方位パラメータを中心とした角度範囲に含まれるすべての点の領域を指定するレンジファンを多角形として近似します。レンジファンの左右の側面は、地球の表面を近似するWGS84楕円体の表面に沿って計算された測地線として描かれます。レンジが180度以上かつ反対子午線を超えている場合や、最大半径が地球の半周以上の場合はnullを返します。 表現カテゴリー: ジオスペーシャル

出力タイプ: Geometry

詳細はこちらを参照してください。

---

構造化行を作成

対応している処理タイプ: バッチ, ストリーミング

複数の行を1つの構造化行に結合します。 表現カテゴリー: 構造

出力タイプ: Struct

例

引数の値:

• 構造要素: [tail_number, id]

詳細はこちらを参照してください。

---

現在の日付

対応している処理タイプ: バッチ, ストリーミング

計算開始時の現在の日付を返します。 表現カテゴリー: 日時

出力タイプ: Date

詳細はこちらを参照してください。

---

現在のタイムスタンプ

対応している処理タイプ: バッチ, ストリーミング

計算開始時の現在のタイムスタンプを返します。 表現カテゴリー: 日時

出力タイプ: Timestamp

詳細はこちらを参照してください。

---

日付のシーケンス

対応している処理タイプ: バッチ

開始日から終了日までの範囲内の日付で配列を作成します。 表現カテゴリー: 日時

出力タイプ: Array<Date>

例

引数の値:

• 終了日: last_planned_flight
• 開始日: first_planned_flight
• ステップユニット: DAYS
• ステップサイズ: null

詳細はこちらを参照してください。

GeobufをGeoJSONとしてデコードする

対応している: バッチ、ストリーミング

GeobufジオメトリをGeoJSONとしてデコードします。 表現のカテゴリー: 地理空間

出力タイプ: ジオメトリ

詳細はここを参照してください。

---

数値を割る

対応している: バッチ、ストリーミング

一つの数を別の数で割ります。 表現のカテゴリー: 数値

出力タイプ: 小数 | ダブル

例

引数の値:

• 左: col_a
• 右: col_b

詳細はここを参照してください。

---

GeoJSONをGeobufとしてエンコードする

対応している: バッチ、ストリーミング

GeoJSONジオメトリをGeobufとしてエンコードします。 表現のカテゴリー: 地理空間

出力タイプ: Geobuf

詳細はここを参照してください。

---

終了する

対応している: バッチ、ストリーミング

表現のカテゴリー: ブール型、文字列

出力タイプ: ブール型

例

引数の値:

• 表現: Hello World
• 大文字小文字を無視: true
• 値: world 出力: true

詳細はここを参照してください。

---

エポックミリ秒を日付に変換する

対応している: バッチ、ストリーミング

エポックミリ秒からUTCの日付に変換します。 表現のカテゴリー: キャスト、日付時間

出力タイプ: 日付

例

説明: ミリ秒単位のエポックタイムスタンプを日付型に変換することができます 引数の値:

• 表現: 1673964111000 出力: 2023-01-17

詳細はここを参照してください。

---

エポックミリ秒をタイムスタンプに変換する

対応している: バッチ、ストリーミング

エポックミリ秒をUTCのタイムスタンプに変換します。 表現のカテゴリー: キャスト、日付時間

出力タイプ: タイムスタンプ

例

説明: ミリ秒単位のエポックタイムスタンプをタイムスタンプ型に変換することができます 引数の値:

• 表現: 1673964111000 出力: 2023-01-17T14:01:51Z

詳細はここを参照してください。

---

エポック秒を日付に変換する

対応している: バッチ、ストリーミング

エポック秒をUTCの日付に変換します。 表現のカテゴリー: キャスト、日付時間

出力タイプ: 日付

例

説明: エポックタイムスタンプを日付型に変換することができます 引数の値:

• 表現: 1673964111 出力: 2023-01-17

詳細はここを参照してください。

---

エポック秒をタイムスタンプに変換する

対応している: バッチ、ストリーミング

エポック秒をUTCのタイムスタンプに変換します。 表現のカテゴリー: キャスト、日付時間

出力タイプ: タイムスタンプ

例

説明: エポックタイムスタンプをタイムスタンプ型に変換することができます 引数の値:

• 表現: 1673964111 出力: 2023-01-17T14:01:51Z

詳細はここを参照してください。

---

イコール

対応環境：バッチ、ストリーミング

左と右が等しい場合に true を返します。 式のカテゴリー：ブール値

出力タイプ： ブール値

例

引数の値：

• 左： a
• 右： b

詳細は ここ を参照してください。

---

指数関数

対応環境：バッチ、ストリーミング

行の指数、e^x を計算します。 式のカテゴリー：数値

出力タイプ： Double

例

引数の値：

• 式： 2.0 出力： 7.38905609893

詳細は ここ を参照してください。

---

正規表現のすべてのマッチを抽出

対応環境：バッチ

正規表現のマッチをすべて配列に抽出します。 式のカテゴリー：正規表現、文字列

出力タイプ： Array<String>

例

説明： 各コードから最初の2つのイニシャルを抽出します。 引数の値：

• 式： MT-112, XB-967
• グループ： 1
• パターン： (\w\w)(-) 出力： [ MT, XB ]

詳細は ここ を参照してください。

---

日付部分の抽出

対応環境：バッチ、ストリーミング

日付の一部、例えば年や曜日を抽出します。 式のカテゴリー：日付時間

出力タイプ： Integer

詳細は ここ を参照してください。

---

マップキーの抽出

対応環境：バッチ、ストリーミング

マップのキーを配列として返します。配列要素の順序は決定的ではありません。 式のカテゴリー：マップ

型変数の上限：
K は AnyType を受け入れます

出力タイプ： Array<K>

例

引数の値：

• マップ： flight_number

詳細は ここ を参照してください。

---

マップ値の抽出

対応環境：バッチ、ストリーミング

マップの値を配列として返します。配列要素の順序は決定的ではありません。 式のカテゴリー：マップ

型変数の上限：
V は AnyType を受け入れます

出力タイプ： Array<V>

例

引数の値：

• マップ： flight_number

詳細は ここ を参照してください。

---

PDFからテキストの抽出

対応環境：バッチ

PDFファイルのページから生のテキストを抽出します。 式のカテゴリー：メディア

出力タイプ： Array<String>

例

引数の値：

• メディアリファレンス： Media Reference
• エンドページ： End Page
• スタートページ： Start Page

詳細は ここ を参照してください。

PDF からテキストを抽出（OCR を使用）

バッチで対応

メディアセット内の PDF ファイルに OCR を実行してテキストを抽出します。 Expression カテゴリー: メディア

出力タイプ: Array<String>

詳細は こちら をご覧ください。

---

タイムスタンプ部分の抽出

バッチ、ストリーミングで対応

年や曜日などの日付の一部を抽出します。 Expression カテゴリー: Datetime

出力タイプ: Integer

詳細は こちら をご覧ください。

---

配列要素のフィルター処理

バッチ、ストリーミングで対応

フィルター式に基づいて配列をフィルター処理します。配列のインデックスは 1 から始まります。 Expression カテゴリー: 配列

Type variable bounds:
T は AnyType を受け入れます

出力タイプ: Array<T>

例

引数の値:

• 配列: array
• フィルター処理する式:
  isNotNull(
   expression: element,
  )

詳細は こちら をご覧ください。

---

ジオメトリタイプでフィルター処理

バッチ、ストリーミングで対応

提供されたジオメトリタイプ以外のジオメトリ列の値を null にします。 Expression カテゴリー: Geospatial

出力タイプ: Geometry

詳細は こちら をご覧ください。

---

最初の null でない値（coalesce）

バッチ、ストリーミングで対応

入力の最初の null でない値を選択します。sql の coalesce として知られています。 Expression カテゴリー: データ準備

Type variable bounds:
T は AnyType を受け入れます

出力タイプ: T

例

引数の値:

• 式: [tail_number, airline]
• 空の文字列を null として扱う。: null

詳細は こちら をご覧ください。

---

Floor

バッチ、ストリーミングで対応

指定された小数値の floor を返します。 Expression カテゴリー: Numeric

出力タイプ: Decimal | Long

例

引数の値:

• 式: 10.123 出力: 10

詳細は こちら をご覧ください。

---

日付を文字列としてフォーマット

バッチ、ストリーミングで対応

Java DateTimeFormatter に従って日付をフォーマットされた文字列として返します。デフォルトのフォーマットは ISO8601 です。 Expression カテゴリー: Cast, 文字列

出力タイプ: String

例

引数の値:

• 日付: 2022-12-20
• フォーマット: yy-MM-dd 出力: 22-12-20

詳細は こちら をご覧ください。

---

文字列のフォーマット

バッチ、ストリーミングで対応

printf スタイルで文字列をフォーマットします。 Expression カテゴリー: 文字列

出力タイプ: String

例

引数の値:

• フォーマット引数: [argument1, argument2]
• フォーマット文字列: Hello %s, my name is %s

詳細は こちら をご覧ください。

タイムスタンプを文字列としてフォーマット

バッチ, ストリーミングで対応

タイムスタンプを ISO8601 形式の文字列として返します。 式のカテゴリー: キャスト, 日付時刻, 文字列

出力タイプ: 文字列

例

引数の値:

• タイムスタンプ: 2022-10-01T09:00:00Z
• フォーマット: yyyy-MM-dd
• タイムゾーン: null 出力: 2022-10-01

詳細はこちらをご覧ください。

---

ジオメトリが交差する

バッチ, ストリーミングで対応

2つのジオメトリが交差するかどうかを判断します。 式のカテゴリー: 地理空間情報

出力タイプ: ブール型

例

引数の値:

• ジオメトリa: geometry_a
• ジオメトリb: geometry_b

詳細はこちらをご覧ください。

---

ジオメトリ3Dアフィン変換

バッチ, ストリーミングで対応

入力ジオメトリに3次元アフィン変換を適用します。この変換は、ユーザーが提供する投影座標系で行われ、結果はWGS84に投影されます。2次元ジオメトリは、アフィン変換が適用される前に、z座標が0に設定されます。返されるジオメトリは3次元であり、各座標[x,y,z]は、行列の乗算[[x0, x1, x2, xオフセット], [y0, y1, y2, yオフセット], [z0, z1, z2, zオフセット], [0, 0, 0, 1]] * [x, y, z, 1]を表します。結果の最初の3つの座標が返されます。 式のカテゴリー: 地理空間情報

出力タイプ: ジオメトリ

例

引数の値:

• ジオメトリ列: geometry
• 投影座標系: EPSG:4326
• X オフセット: 0.0
• X0: 0.0
• X1: -1.0
• X2: 0.0
• Y オフセット: 0.0
• Y0: 1.0
• Y1: 0.0
• Y2: 0.0
• Z オフセット: 0.0
• Z0: 0.0
• Z1: 0.0
• Z2: 0.0

詳細はこちらをご覧ください。

---

ジオメトリ配列(単項)結合

バッチ, ストリーミングで対応

ジオメトリの配列が与えられた場合、これらを1つのジオメトリに結合し、重複なしでマージします。 式のカテゴリー: 地理空間情報

型変数の範囲:
T はジオメトリを受け入れます

出力タイプ: T

例

引数の値:

• 式: geometries

詳細はこちらをご覧ください。

---

ジオメトリ配列ラインディゾルブ

バッチ, ストリーミングで対応

ジオメトリの配列が与えられた場合、これらを線形ジオメトリに結合します。ディゾルブは、不要なノードを削除し、結合可能なラインストリングを連結することで、入力されたラインストリングのセットを単純化します。ディゾルブ操作の目的で Z 座標は無視されますが、結果のジオメトリに含まれる頂点は、入力の対応する点と同じ Z 座標を持ちます。 式のカテゴリー: 地理空間情報

型変数の範囲:
T はジオメトリを受け入れます

出力タイプ: T

例

引数の値:

• 式: geometries

詳細はこちらをご覧ください。

---

ジオメトリバッファ

バッチ, ストリーミングで対応

正のバッファ距離と負のバッファ距離の両方のジオメトリのバッファを計算します。このジオメトリックオブジェクトから与えられた距離内のすべての点の近似表現を返します (または、負のバッファの場合、境界からのバッファ距離内のすべての点を除いたすべての点)。バッファは Z 座標を削除し、ゼロ/負の距離バッファの線と点は null を返します。 式のカテゴリー: 地理空間情報

出力タイプ: ジオメトリ

例

引数の値:

• バッファー距離: distance
• ジオメトリ行: geometry
• 投影座標系: EPSG:32618
• バッファーキャップスタイル: ROUND
• バッファージョインスタイル: ROUND
• 象限あたりの線分数: 8
• 片側または両側: DOUBLE_SIDED

詳細はこちらを参照してください。

---

ジオメトリの重心

対応している: バッチ、ストリーミング

ジオメトリの重心、または"質量中心"を、地球の球面近似を使用して返します。 ジオメトリが混合次元のコレクションの場合、最高次元の要素のみが重心に寄与します (例えば、点、線、多角形のコレクションでは、点と線は無視されます)。 表現カテゴリー: 地理空間

出力タイプ: ジオポイント

詳細はこちらを参照してください。

---

ジオメトリが含まれる

対応している: バッチ、ストリーミング

ジオメトリaがジオメトリbを含んでいるかどうかを判断します。 ポリゴンの境界上にある点や線は、他のジオメトリ内に含まれていません。 表現カテゴリー: 地理空間

出力タイプ: ブール値

例

引数の値:

• ジオメトリa: geometry_a
• ジオメトリb: geometry_b

詳細はこちらを参照してください。

---

ジオメトリの差異

対応している: バッチ、ストリーミング

ジオメトリaの一部でジオメトリbと交差していない部分を計算します。 表現カテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

• ジオメトリa: geometry_a
• ジオメトリb: geometry_b

詳細はこちらを参照してください。

---

ジオメトリを配列に展開

対応している: バッチ、ストリーミング

ジオメトリをその構成要素である単純なジオメトリの配列に変換します。 表現カテゴリー: 地理空間

出力タイプ: Array<Geometry>

例

引数の値:

• 表現: geometry

詳細はこちらを参照してください。

---

ジオメトリの交差

対応している: バッチ、ストリーミング

ジオメトリaとジオメトリbが交差する部分を計算します。 表現カテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

• ジオメトリa: geometry_a
• ジオメトリb: geometry_b

詳細はこちらを参照してください。

---

ジオメトリの長さ

対応している: バッチ、ストリーミング

ジオメトリ内のラインストリングとマルチラインストリングの長さをメートル単位で取得します。地球の球面近似を使用します。非線形のジオメトリ（多角形と点）は0としてカウントされます。 表現カテゴリー: 地理空間

出力タイプ: Double

例

引数の値:

• 表現: geometry

詳細はこちらを参照してください。

Geometry rotate 2d

対応状況: ストリーミング

指定されたジオポイントを中心に、提供されたジオメトリに二次元時計回りの回転を適用します。この回転は、提供された座標参照システムで行われ、その後 WGS84 に投影されます。 式のカテゴリー: 地理空間

出力タイプ: Geometry

詳細はこちらを参照してください。

---

Geometry set z-coordinate

対応状況: バッチ、ストリーミング

ジオメトリの z 座標を設定します。ジオメトリに既存の z 座標がある場合は、上書きされます。 式のカテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

• Geometry: geometry
• Z 座標: zCoordinate

詳細はこちらを参照してください。

---

Geometry symmetric difference

対応状況: バッチ、ストリーミング

どちらかのジオメトリに含まれていて、交差部分に含まれない部分を計算します。 式のカテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

• Geometry a: geometry_a
• Geometry b: geometry_b

詳細はこちらを参照してください。

---

Geometry translate expression

対応状況: バッチ、ストリーミング

ジオメトリに変換を適用します。z オフセットが提供されている場合にのみ、2 次元ジオメトリが 3 次元ジオメトリに変換されます。 式のカテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

• Geometry 行: geometry
• Projected coordinate system: EPSG:4326
• X オフセット: 1.0
• Y オフセット: -1.0
• Z オフセット: null

詳細はこちらを参照してください。

---

Geometry union

対応状況: バッチ、ストリーミング

2 つのジオメトリを組み合わせて、1 つのジオメトリを作成します。 式のカテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

• Geometry a: geometry_a
• Geometry b: geometry_b

詳細はこちらを参照してください。

---

Get H3 index

対応状況: バッチ、ストリーミング

指定された解像度での H3 インデックスにジオポイントを変換します。解像度が <0 または >15 の場合は null を返します。 式のカテゴリー: 地理空間

出力タイプ: H3 Index

詳細はこちらを参照してください。

ジオメトリを覆うH3インデックスを取得する

対応環境: バッチ、ストリーミング

特定の解像度でジオメトリをH3インデックスに変換します。解像度は0から15までの間である必要があります。ポリゴンの場合、以下の3つの変換がサポートされています: a) ポリゴンを完全に覆うH3インデックス、b) ポリゴンに完全に含まれるH3インデックス、c) セントロイドがポリゴン内に含まれるH3インデックス。予想されるH3インデックスの数が700万を超える場合はnullを返します。 式のカテゴリー: 地理空間

出力タイプ: 配列<H3 インデックス>

詳細はこちらを参照してください。

---

エンベロープのXZカーブインデックスを取得する

対応環境: バッチ、ストリーミング

エンベロープをXZカーブでエンコードします。 式のカテゴリー: 地理空間

出力タイプ: Long

例

引数の値:

• カーブプリセット: LON_LAT_10KM
• エンベロープ: envelope

詳細はこちらを参照してください。

---

開始点から終点までの方位を取得する

対応環境: バッチ、ストリーミング

地球の球面近似を用いて、最初の点から第2の点までの絶対真北に対する時計回りの角度（方位）を度単位で計算します。 式のカテゴリー: 地理空間

出力タイプ: Double

例

引数の値:

• 終点: end_point
• 開始点: start_point

詳細はこちらを参照してください。

---

ジオメトリのエンベロープを取得する

対応環境: バッチ、ストリーミング

有効なジオメトリまたはジオメトリの配列が与えられた場合、入力のエンベロープを表すジオメトリを返します。エンベロープとは、ジオメトリの最小値と最大値のxとyを含む最小の軸に沿った長方形の領域です。 式のカテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

• 式: geometry

詳細はこちらを参照してください。

---

lat/longバウンディングボックス構造体を取得する

対応環境: バッチ、ストリーミング

有効なジオメトリまたはジオメトリの配列が与えられた場合、ジオメトリまたはジオメトリの境界を含む構造体を返します。 式のカテゴリー: 地理空間

出力タイプ: LatLonBoundingBox

例

引数の値:

• 式: geometry

詳細はこちらを参照してください。

---

H3インデックスの隣接インデックスを取得する

対応環境: バッチ、ストリーミング

H3インデックスのすべての隣接インデックスを取得します。 式のカテゴリー: 地理空間

出力タイプ: 配列<H3 インデックス>

詳細はこちらを参照してください。

---

構造体フィールドを取得する

対応環境: バッチ、ストリーミング

構造体からフィールドを抽出します。 式のカテゴリー: 構造体

出力タイプ: AnyType

例

引数の値:

• Locator: airline.id
• 構造体: struct

詳細はこちらを参照してください。

---

ジオメトリの凸包を取得する

対応環境: バッチ、ストリーミング

有効なGeoJSON入力文字列が与えられた場合、ジオメトリの凸包であるGeoJSON文字列を返します。凸包とは、ジオメトリを含む最小の凸ポリゴンです。 式のカテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

• Expression: geometry

詳細はこちらをご覧ください。

---

より大きい

対応している: バッチ、ストリーミング

左側が右側より大きい場合、trueを返します。 Expression categories: Numeric

出力タイプ: Boolean

例

引数の値:

• Left: a
• Right: b

詳細はこちらをご覧ください。

---

以上

対応している: バッチ、ストリーミング

左側が右側以上の場合、trueを返します。 Expression categories: Boolean

出力タイプ: Boolean

例

引数の値:

• Left: a
• Right: b

詳細はこちらをご覧ください。

---

最大値

対応している: バッチ、ストリーミング

すべての入力行の中で最大の値を計算し、null値はスキップします。 Expression categories: Numeric

Type variable bounds:
T accepts ComparableType

出力タイプ: T

例

引数の値:

• Expressions: [a, b, c]

詳細はこちらをご覧ください。

---

Gzip 解凍

対応している: バッチ、ストリーミング

gzip圧縮されたバイナリを文字列に解凍します。 Expression categories: File

出力タイプ: String

例

引数の値:

• Expression: gzip

詳細はこちらをご覧ください。

---

H3 to geometry

対応している: バッチ、ストリーミング

H3インデックスをポリゴンに変換します。 Expression categories: Geospatial

出力タイプ: Geometry

詳細はこちらをご覧ください。

---

Hash sha256

対応している: バッチ、ストリーミング

入力をsha256ハッシングアルゴリズムを使用してハッシュ化します。 Expression categories: String

出力タイプ: String

例

引数の値:

• Expression: Hello World! 出力: 7f83b1657ff1fc53b92dc18148a1d65dfc2d4b1fa3d677284addd200126d9069

詳細はこちらをご覧ください。

---

空の struct かどうか

対応している: バッチ

入力が空の struct である場合、内部の配列と struct の再帰的なチェックも含めて true を返します。 Expression categories: Boolean

出力タイプ: Boolean

例

引数の値:

• Expression: struct

詳細はこちらをご覧ください。

---

リスト内に存在するか

対応している: バッチ、ストリーミング

リストに値が含まれている場合、trueを返します。 Expression categories: Boolean

Type variable bounds:
T accepts ComparableType

出力タイプ: Boolean

例

説明: リストに値が含まれているかどうかを確認することができます。 引数の値:

• Contains: [AWE-112, BRR-123]
• Value: value

詳細はこちらをご覧ください。

---

null ではない

対応している: バッチ、ストリーミング

入力が null でない場合、true を返します。必要に応じて、空の文字列を null として扱うことができます。 Expression categories: Boolean

出力タイプ: Boolean

例

引数の値:

• Expression: hello
• Treat empty strings as null: null 出力: true

詳細はこちらをご覧ください。

Is null

対応している: Batch, Streaming

入力が null の場合、true を返します。空の文字列を null としてオプションで扱うことができます。 式のカテゴリー: Boolean

出力の型: Boolean

例

引数の値:

• 式: null
• 空の文字列を null として扱う: null 出力: true

詳細はこちらをご覧ください。

---

Is valid GeoJSON

対応している: Batch, Streaming

入力が有効な GeoJSON 入力文字列である場合、true を返します。すべての GeoJSON 文字列がオントロジーによって索引化可能なわけではありません。オントロジー使用前にジオメトリを準備するために "normalize geometry" 式を使用します。 式のカテゴリー: Geospatial

出力の型: Boolean

例

引数の値:

• 式: geoJson

詳細はこちらをご覧ください。

---

Is valid H3 index

対応している: Batch, Streaming

入力が有効な H3 インデックス文字列である場合、true を返します。 式のカテゴリー: Geospatial

出力の型: Boolean

例

引数の値:

• 式: h3

詳細はこちらをご覧ください。

---

Is valid MGRS

対応している: Batch, Streaming

入力が有効な MGRS (軍用グリッド参照システム) 文字列である場合、true を返します。 式のカテゴリー: Geospatial

出力の型: Boolean

例

引数の値:

• 式: mgrs

詳細はこちらをご覧ください。

---

Is valid MIME type

対応している: Batch, Streaming

入力が有効な MIME タイプである場合、true を返します。 式のカテゴリー: Boolean, その他

出力の型: Boolean

詳細はこちらをご覧ください。

---

Is valid Ontology geo-point

対応している: Batch, Streaming

入力が有効なオントロジー geo-point である場合、true を返します。オントロジー geo-points は '{lat},{lon}' の形式の文字列で、-90 <= lat <= 90 および -180 <= lon <= 180 の範囲です。 式のカテゴリー: Geospatial

出力の型: Boolean

例

引数の値:

• 式: geopoint

詳細はこちらをご覧ください。

---

Is valid delegated media gid

対応している: Batch, Streaming

入力が有効な gotham delegated media gid である場合、true を返します。詳細は gotham の delegated media rtfm をご覧ください。 式のカテゴリー: Boolean

出力の型: Boolean

例

引数の値:

• 式: ri.gotham-delegated-media.12345678-1234-1234-1234-123456789012.testaudiotype.testlocator 出力: true

詳細はこちらをご覧ください。

---

Is valid media reference

対応している: Batch, Streaming

入力が有効な Foundry メディアリファレンスである場合、true を返します。 式のカテゴリー: Boolean

出力の型: Boolean

詳細はこちらをご覧ください。

---

有効な rid かどうか

対応状況: バッチ, ストリーミング

入力が有効な Foundry リソース識別子である場合、true を返します。 式のカテゴリー: ブール

出力タイプ: ブール

詳細はこちらをご覧ください。

---

有効な uuid かどうか

対応状況: バッチ, ストリーミング

入力が有効な uuid である場合、true を返します。 式のカテゴリー: ブール

出力タイプ: ブール

詳細はこちらをご覧ください。

---

JSON を文字列にする

対応状況: バッチ, ストリーミング

入力を json 文字列に変換します。 式のカテゴリー: ファイル, 文字列

出力タイプ: 文字列

例

引数の値:

• 入力: struct

詳細はこちらをご覧ください。

---

配列を連結する

対応状況: バッチ, ストリーミング

指定されたセパレーターで配列を連結します。 式のカテゴリー: 配列

出力タイプ: 文字列

例

引数の値:

• 連結する配列: [ hello, world ]
• セパレーター: - 出力: hello-world

詳細はこちらをご覧ください。

---

週/月/四半期/年の最終日

対応状況: バッチ

週/月/四半期/年の最終日を返します。 式のカテゴリー: 日時

出力タイプ: 日付

詳細はこちらをご覧ください。

---

最小値を計算する

対応状況: バッチ, ストリーミング

null 値をスキップして、すべての入力行の中で最小値を計算します。 式のカテゴリー: ブール, 数値

型変数の範囲:
T は ComparableType を受け入れます

出力タイプ: T

例

引数の値:

• 式: [a, b, c]

詳細はこちらをご覧ください。

---

文字列の左側を抽出する

対応状況: バッチ, ストリーミング

インデックスに基づいて文字列の左側を抽出します。 式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

• 式: Hello world!
• 長さ: 5 出力: Hello

詳細はこちらをご覧ください。

---

文字列の左パディング

対応状況: バッチ, ストリーミング

パッドを使用して、文字列行を指定された長さに左パディングします。 式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

• 式: Hello world!
• 長さ: 15
• パッド: * 出力: ***Hello world!

詳細はこちらをご覧ください。

長さ

対応環境: バッチ、ストリーミング

文字列行または配列行の各値の長さを返します。 表現のカテゴリー: 配列、数値

出力のタイプ: 整数

例

引数の値:

• 表現: string

詳細はこちらをご覧ください。

---

小さい

対応環境: バッチ、ストリーミング

左が右より小さい場合に true を返します。 表現のカテゴリー: 真偽値

出力のタイプ: 真偽値

例

引数の値:

• 左: left
• 右: right

詳細はこちらをご覧ください。

---

以下

対応環境: バッチ、ストリーミング

左が右以下である場合に true を返します。 表現のカテゴリー: 真偽値

出力のタイプ: 真偽値

例

引数の値:

• 左: a
• 右: b

詳細はこちらをご覧ください。

---

レーベンシュタイン距離

対応環境: バッチ、ストリーミング

2つの文字列間のレーベンシュタイン距離を計算します。 表現のカテゴリー: 文字列

出力のタイプ: 整数

例

引数の値:

• 大文字小文字を無視する: false
• 左: left
• 右: right

詳細はこちらをご覧ください。

---

対数

対応環境: バッチ、ストリーミング

列の自然対数、ln(x)、を計算します。 表現のカテゴリー: 数値

出力のタイプ: 倍精度浮動小数点数

例

引数の値:

• 表現: 10.123 出力: 2.3148100626166146

詳細はこちらをご覧ください。

---

基数付き対数

対応環境: バッチ、ストリーミング

指定した基数での対数を計算します。 表現のカテゴリー: 数値

出力のタイプ: 倍精度浮動小数点数

例

引数の値:

• 基数: 2.0
• 表現: 8 出力: 3.0

詳細はこちらをご覧ください。

---

ロジカル型キャスト

対応環境: バッチ、ストリーミング

表現を指定したロジカル型にキャストします。通常のキャスト表現とは異なり、この表現ではデータの基本的な表現を変更せず、指定したロジカル型に関連する制約を強制するため、出力はそのロジカル型のインスタンスを特に要求する下流の表現への入力として使用できます。 表現のカテゴリー: キャスト

型変数の範囲:
C は AnyType を受け入れます

出力のタイプ: C

例

説明: 自然数への成功したキャスト 引数の値:

• 表現: 1234
• ロジカル型: 自然数
• デフォルト値: null 出力: 1234

詳細はこちらをご覧ください。

小文字化

対応している: バッチ, ストリーミング

文字列内の全ての文字を小文字に変換します。 表現カテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

• 表現: Hello World 出力: hello world

詳細はこちらをご覧ください。

---

値のマッピング

対応している: バッチ, ストリーミング

行内の一連の値を新しい値にマッピングします。 表現カテゴリー: データ準備

型変数の範囲:
T1 は ComparableType を受け入れます
T2 は AnyType を受け入れます

出力タイプ: T2

例

引数の値:

• デフォルト: null
• 入力: country
• 値のマップ: {
   Denmark -> DNK,
   United Kingdom -> UK,
  }

詳細はこちらをご覧ください。

---

モジュロ

対応している: バッチ, ストリーミング

表現のモジュロを返します。 表現カテゴリー: 数値

出力タイプ: DefiniteNumeric

例

引数の値:

• 分母: 4
• 分子: 10.123 出力: 2.123

詳細はこちらをご覧ください。

---

数値の乗算

対応している: バッチ, ストリーミング

全ての入力行の積を計算します。 表現カテゴリー: 数値

出力タイプ: 数値

例

引数の値:

• 表現: [col_a, col_b, col_c]

詳細はこちらをご覧ください。

---

否定

対応している: バッチ, ストリーミング

表現カテゴリー: 数値

出力タイプ: 数値

詳細はこちらをご覧ください。

---

正規乱数

対応している: バッチ, ストリーミング

ゼロ平均と単位分散の正規分布に従う乱数の行を返します。これは決定的ではなく、シードを使用しても繰り返しビルドで同じ結果を生成しません。 表現カテゴリー: 数値

出力タイプ: Double

詳細はこちらをご覧ください。

---

ジオメトリの正規化

対応している: バッチ, ストリーミング

文字列を有効な GeoJSON に正規化します。ポリゴンは閉じられ、重複が削除され、右手ルールに従って順序付けされます。幅が 180 度を超える（アンチメリディアンを越える）ジオメトリは、アンチメリディアンの各側に複数のフィーチャに分割されます。値が GeoJSON として読み取れない場合は、null を返します。 表現カテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

• 表現: geometry

詳細はこちらをご覧ください。

---

Not

対応している: バッチ, ストリーミング

ブール表現のブール値を否定します。 表現カテゴリー: ブール

出力タイプ: ブール

例

引数の値:

• 表現: boolean

詳細はこちらをご覧ください。

多角形内のN番目のチェーン

対応環境: バッチ、ストリーミング

ジオメトリ内の単一の多角形で、N番目のリングを返します。インデックスは1ベースであり、0のインデックスは範囲外です。1と等しいインデックスは外部リングを返し、1より大きいインデックスは内部リングを返します。次の条件のいずれかに該当する場合はnullを返します: ジオメトリが単一の多角形でない、フィーチャーコレクションまたはジオメトリコレクションが提供されている、インデックスが範囲外、または少なくとも1つの引数がnullです。 式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

• N: n
• 多角形: polygon

詳細はこちらを参照してください。

---

ラインストリング内のN番目のポイント

対応環境: バッチ、ストリーミング

ジオメトリ内の単一のラインストリングで、N番目のポイントを返します。インデックスは1ベースであり、0のインデックスは範囲外です。負のインデックスはラインストリングの終端から逆方向にカウントされ、-1は最後のポイントです。次の条件のいずれかに該当する場合はnullを返します: ジオメトリが単一のラインストリングでない、フィーチャーコレクションまたはジオメトリコレクションが提供されている、インデックスが範囲外、または少なくとも一つの引数がnullです。 式のカテゴリー: 地理空間

出力タイプ: ジオポイント

例

引数の値:

• ラインストリング: linestring
• N: n

詳細はこちらを参照してください。

---

空文字列のnull化

対応環境: バッチ、ストリーミング

空の文字列をnullに変換します。 式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

• 式: 空の文字列 出力: null

詳細はこちらを参照してください。

---

Or

対応環境: バッチ、ストリーミング

指定された条件のいずれかが真であればtrueを返します。nullはfalseと見なされます。 式のカテゴリー: ブーリアン

出力タイプ: ブーリアン

例

引数の値:

• 条件: [left_boolean, right_boolean]

詳細はこちらを参照してください。

---

PDFの目次

対応環境: バッチ

式のカテゴリー: メディア

出力タイプ: Array<Struct<level, title, page>>

例

引数の値:

• メディア参照: Media Reference

詳細はこちらを参照してください。

---

非WGS 84座標系からのGeoJSONのパース

対応環境: バッチ、ストリーミング

非WGS 84座標系からのGeoJSON文字列をWGS 84ジオメトリに変換します。WGS 84 (経度、緯度)で既に存在するGeoJSONの場合、"論理型キャスト"式がオーバーヘッドを少なくして直接変換できます。解析や変換中に失敗した文字列に対してはnullを返します。 式のカテゴリー: 地理空間

出力タイプ: ジオメトリ

例

引数の値:

• GeoJSON文字列: geojson_string
• 元の座標系: EPSG:32618

詳細はこちらを参照してください。

分類文字列の解析

Batch で対応

指定した分類文字列から解析されたマーキングを返します。この出力は構造体としてフォーマットされ、構造体の最初の要素は関連するマーキングの文字列のリストです。このリストは、分類文字列が無効な場合には null です。構造体の第二の要素はエラーメッセージの文字列です。この文字列は、エラーメッセージが存在しない場合（分類文字列が有効な場合）には null です。分類文字列が null の場合、 null を返します。 表現カテゴリー: その他

出力タイプ: Struct<groupNames<String>, errors>

詳細は こちらをご覧ください。

---

期間の解析

Batch で対応

ISO8601 の文字列期間と開始時間を特定の時間単位での長さに解析します。 表現カテゴリー: 日時、文字列

出力タイプ: Long

例

引数の値:

• 期間: PT1M30.5S
• 開始時間: 2022-10-01T09:00:00Z
• 単位: SECONDS 出力: 90

詳細は こちらをご覧ください。

---

json を構造体として解析

Batch, Streaming で対応

指定したスキーマ定義に従って json 文字列を解析し、スキーマにないフィールドは無視します。 表現カテゴリー: データ準備、ファイル、人気、構造体

出力タイプ: Array<AnyType> | Map<String, String> | Struct

例

引数の値:

• Json: json
• スキーマ: Struct<airline, airport<id, miles>>

"airline": "XB-112",
"airport": {
    "id": "JFK",
    "miles": 2000
}

} | | {
 airline: XB-112,
 airport: {
 id: JFK,
 miles: 2000,
},
} |

詳細は こちらをご覧ください。

---

電話番号の解析

Batch で対応

電話番号を解決し、正規化します。 表現カテゴリー: 文字列

出力タイプ: Phone Number

例

説明: 米国の電話番号をフォーマットして返す 引数の値:

• 表現: phoneNumber
• フォーマット: E164
• 地域: US

詳細は こちらをご覧ください。

---

よく知られたテキストをジオメトリとして解析

Batch, Streaming で対応

よく知られたテキスト（WKT）文字列をジオメトリの論理タイプに変換します。無効な WKT 入力は null として返されます。オプションでソース座標系識別子を提供して、WKT がすでに WGS 84 でない場合、ソース座標系から WGS 84 に変換します。 表現カテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

• 表現: wkt
• ソース座標系: null

詳細は こちらをご覧ください。

---

xml をスキーマとして解析

Batch, Streaming で対応

指定したスキーマ定義に従って xml 文字列を解析し、スキーマにないフィールドは無視します。 表現カテゴリー: ファイル、構造体

出力タイプ: Struct

例

引数の値:

• スキーマ: Struct<id, airport<id, miles>>
• Xml: xml
• 属性のプレフィックス: null
• 値タグ: null

<id>XB-112</id>
<airport>
  <id>JFK</id>
  <miles>2000</miles>
</airport>

| | {
 airport: {
 id: JFK,
 miles: 2000,
},
 id: XB-112,
} |

詳細は こちらをご覧ください。

ペリメーター

サポート状況: バッチ, ストリーミング

地球を球体近似し、ジオメトリのペリメーターをメートル単位で計算します。ラインストリングまたはポイントの場合、これは 0 と等しくなります。 式のカテゴリー: ジオスパシャル

出力タイプ: Double

詳細はここを参照してください。

---

正の剰余

サポート状況: バッチ

式の正の剰余を返します。 式のカテゴリー: 数値

型変数の範囲:
T1 は Byte | Integer | Long | Short を受け入れます
T2 は Byte | Integer | Long | Short を受け入れます

出力タイプ: T1

例

引数の値:

• 分母: 3
• 分子: 10 出力: 1

詳細はここを参照してください。

---

べき乗

サポート状況: バッチ, ストリーミング

式を指数べき乗します。値のいずれかが null の場合は null を返します。 式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

• 指数: 3
• 式: 10 出力: 1000.0

詳細はここを参照してください。

---

配列要素の削減

サポート状況: バッチ, ストリーミング

式を使用して配列要素を削減します。 式のカテゴリー: 配列

型変数の範囲:
T は Array<Boolean | Byte | Date | Double | Float | Integer | Long | Map<AnyType, AnyType> | Short | String | Timestamp> | Boolean | Byte | Date | Double | Float | Integer | Long | Map<AnyType, AnyType> | Short | String | Timestamp を受け入れます

出力タイプ: T

例

引数の値:

• 配列: miles
• 削減する式:
  add(
   expressions: [accumulator, element],
  )
• 初期値: 0

詳細はここを参照してください。

---

正規表現抽出

サポート状況: バッチ, ストリーミング

正規表現から指定したグループを抽出します。一致するものが見つからない場合は空の文字列を返します。 式のカテゴリー: 正規表現, 文字列

出力タイプ: String

例

説明: 最初の一致から最初の2つの頭文字を抽出します。 引数の値:

• 式: MT-112, XB-967
• グループ: 1
• パターン: (\w\w)(-) 出力: MT

詳細はここを参照してください。

---

正規表現検索

サポート状況: バッチ, ストリーミング

式を正規表現と照合します。正規表現は文字列の任意の部分に一致することができます。 式のカテゴリー: 正規表現, 文字列

出力タイプ: Boolean

例

説明: 正規表現のパターンを検索することができます。 引数の値:

• 式: abcdefg
• 正規表現: abc?d 出力: true

詳細はここを参照してください。

---

正規表現一致

サポート状況: バッチ, ストリーミング

式を正規表現と照合します。正規表現は文字列全体に一致する必要があります。 式のカテゴリー: 正規表現, 文字列

出力タイプ: Boolean

例

説明: 正規表現のパターンを一致させることができます。 引数の値:

• 式: abcdefg
• 正規表現: abc?d.+ 出力: true

詳細はここを参照してください。

---

Regex replace

対応している処理方法: バッチ、ストリーミング

正規表現パターンを使用して文字列を置き換えます。 式のカテゴリー: 正規表現、文字列

出力タイプ: 文字列

例

引数の値:

• 式: tail_number
• パターン: (\w\w)(-)
• 置き換え: **-

詳細はこちらを参照してください。

---

Rename struct field

対応している処理方法: バッチ、ストリーミング

構造体内のフィールド名を変更します。 式のカテゴリー: データ準備、構造体

出力タイプ: 構造体

例

引数の値:

• 式: struct
• リネーム: [(airline.id, identifier)]

詳細はこちらを参照してください。

---

Right of string

対応している処理方法: バッチ、ストリーミング

インデックスに基づいて文字列の右側部分を抽出します。 式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

• 式: Hello world!
• 長さ: 6 出力: world!

詳細はこちらを参照してください。

---

Right pad string

対応している処理方法: バッチ、ストリーミング

文字列を指定された長さになるように右側にパディングします。文字列の長さが指定された長さよりも大きい場合、文字列は切り詰められます。 式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

• 式: Hello world!
• 長さ: 15
• パッド: * 出力: Hello world!***

詳細はこちらを参照してください。

---

Round number

対応している処理方法: バッチ、ストリーミング

小数点以下'scale'桁に丸めます。 式のカテゴリー: 数値

出力タイプ: Decimal | Double | Float

例

引数の値:

• 列: 10.123
• 小数点以下: 2 出力: 10.12

詳細はこちらを参照してください。

---

Secant

対応している処理方法: バッチ、ストリーミング

角度の正割を求めます。 式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

• 角度の単位: degrees
• 角度の値: angle

詳細はこちらを参照してください。

---

Sentence case

対応している処理方法: バッチ、ストリーミング

最初の単語の最初の文字を大文字に変換します。 式のカテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

• 式: hello world 出力: Hello world

詳細はこちらを参照してください。

シーケンス

対応環境: バッチ、ストリーミング

開始から終了までの範囲の数字を含む配列を作成します。 式のカテゴリー: 配列

出力タイプ: Array<Long>

例

説明: 特定しない限り、シーケンスは1ずつ増加します。 引数の値:

• 終了: 10
• 開始: 0
• ステップサイズ: null 出力: [ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 ]

詳細はこちらをご覧ください。

---

幾何学の簡素化

対応環境: バッチ、ストリーミング

この式は、球面モデルを使用して指定された許容距離内の点を削除することでGeoJSONの幾何学を簡素化します。 許容距離より小さいループは完全に削除される可能性があります。 式のカテゴリー: 地理空間

出力タイプ: Geometry

例

引数の値:

• Geometry: Geometry
• Tolerance: Tolerance
• Coordinate precision: null

詳細はこちらをご覧ください。

---

サイン

対応環境: バッチ、ストリーミング

角度のサインを取ります。 式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

• 角度の単位: degrees
• 角度の値: angle

詳細はこちらをご覧ください。

---

バイトをスキップ

対応環境: バッチ、ストリーミング

バイナリ行内で指定した数のバイトをスキップします。 式のカテゴリー: バイナリ

出力タイプ: Binary

例

引数の値:

• バイト: aGk=
• スキップするバイト数: 1 出力: aQ==

詳細はこちらをご覧ください。

---

配列のスライス

対応環境: バッチ、ストリーミング

最初の位置から2番目の位置までスライスされた配列を返します。 最初の位置は1以上でなければなりません。 2番目の位置が配列より長い場合、配列の残り全体が返されます。 式のカテゴリー: 配列

型変数の制約:
TはAnyTypeを受け入れます

出力タイプ: Array<T>

詳細はこちらをご覧ください。

---

文字列の分割

対応環境: バッチ、ストリーミング

指定した正規表現パターンで文字列を分割します。 式のカテゴリー: 文字列

出力タイプ: Array<String>

例

引数の値:

• 式: string
• パターン:
• リミット: 2

詳細はこちらをご覧ください。

---

平方根

対応環境: バッチ、ストリーミング

行の平方根を計算します。 式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

• 式: 9.0 出力: 3.0

詳細はこちらをご覧ください。

---

開始文字列

対応環境: バッチ、ストリーミング

式のカテゴリー: ブール値、文字列

出力タイプ: Boolean

例

引数の値：

• 式：Hello world
• 大文字・小文字を無視する：true
• 値：hello 出力： true

詳細はこちらをご覧ください。

---

区切り文字以降の文字列

対応：バッチ、ストリーミング

最初の区切り文字以降の文字列を抽出します。一致するものがない場合は、完全な文字列を返します。 式のカテゴリー：文字列

出力タイプ： 文字列

例

引数の値：

• 区切り文字：hello
• 式：... Hello world
• 大文字・小文字を無視する：true 出力： world

詳細はこちらをご覧ください。

---

区切り文字以前の文字列

対応：バッチ、ストリーミング

最初の区切り文字以前の文字列を抽出します。一致するものがない場合は、完全な文字列を返します。 式のカテゴリー：文字列

出力タイプ： 文字列

例

引数の値：

• 区切り文字：hello
• 式：... Hello world
• 大文字・小文字を無視する：true 出力： ...

詳細はこちらをご覧ください。

---

文字列に含まれる

対応：バッチ、ストリーミング

式のカテゴリー：ブーリアン、文字列

出力タイプ： ブーリアン

例

引数の値：

• 式：... Hello world
• 大文字・小文字を無視する：true
• 値：hello 出力： true

詳細はこちらをご覧ください。

---

部分文字列

対応：バッチ、ストリーミング

部分文字列を抽出します。 式のカテゴリー：数値

出力タイプ： 文字列

例

引数の値：

• 式：string
• 開始：start
• 長さ：length

詳細はこちらをご覧ください。

---

複数の式の差を計算する

対応：バッチ、ストリーミング

数値とすべての入力行間の差を計算します。 式のカテゴリー：数値

出力タイプ： 数値

例

引数の値：

• 式のリスト：[col_b, col_c]
• 引き算される値：col_a

詳細はこちらをご覧ください。

---

数値の差を計算する

対応：バッチ、ストリーミング

一つの数値から別の数値を引きます。 式のカテゴリー：数値

出力タイプ： 数値

例

引数の値：

• 左：col_a
• 右：col_b

詳細はこちらをご覧ください。

---

日付から値を引く

対応：バッチ、ストリーミング

'start' から 'value' 日/週/月/四半期/年を引いた日付を返します。 式のカテゴリー：日時

出力タイプ： 日付

例

引数の値：

• 日付：2022-04-05
• 単位：DAYS
• 値：2 出力： 2022-04-03

詳細はこちらをご覧ください。

タイムスタンプの追加

対応しているもの: バッチ、ストリーミング

指定した単位でタイムスタンプに値を追加します。 表現カテゴリー: 日付時間

出力タイプ: タイムスタンプ

例

引数の値:

• タイムスタンプ: 2022-02-01T00:00:00Z
• 単位: MILLISECONDS
• 追加する値: 2 出力: 2022-02-01T00:00:00.002Z

詳細はここでご覧いただけます。

---

タイムスタンプの減算

対応しているもの: バッチ、ストリーミング

指定した単位でタイムスタンプから値を減算します。 表現カテゴリー: 日付時間

出力タイプ: タイムスタンプ

例

引数の値:

• タイムスタンプ: 2022-02-02T00:00:00Z
• 単位: MILLISECONDS
• 減算する値: 2 出力: 2022-02-01T23:59:59.998Z

詳細はここでご覧いただけます。

---

タイムスタンプをエポックミリ秒に変換

対応しているもの: バッチ、ストリーミング

UTCのタイムスタンプをエポックミリ秒に変換します。 表現カテゴリー: キャスト、日付時間

出力タイプ: Long

例

引数の値:

• タイムスタンプ: 2022-10-01T09:00:00Z 出力: 1664614800000

詳細はここでご覧いただけます。

---

タイムスタンプをエポック秒に変換

対応しているもの: バッチ、ストリーミング

UTCのタイムスタンプをエポック秒に変換します。 表現カテゴリー: キャスト、日付時間

出力タイプ: Long

例

引数の値:

• タイムスタンプ: 2022-10-01T09:00:00Z 出力: 1664614800

詳細はここでご覧いただけます。

---

タイトルケース

対応しているもの: バッチ、ストリーミング

各単語の最初の文字を大文字にし、残りを小文字に変換します。 表現カテゴリー: 文字列

出力タイプ: 文字列

例

引数の値:

• 表現: hello world 出力: Hello World

詳細はここでご覧いただけます。

---

配列要素の変換

対応しているもの: バッチ、ストリーミング

配列の各要素を表現を使用してマップします。注: 配列インデックスは1から始まります。 表現カテゴリー: 配列

タイプ変数の境界:
TはAnyTypeを受け入れる

出力タイプ: 配列<T>

例

引数の値:

• 配列: flight_number
• 適用する表現:
  stringBeforeDelimiter(
   delimiter: -,
   expression: element,
   ignoreCase: false,
  )

詳細はここでご覧いただけます。

マップキーの変換

Batch、Streamingで対応

マップのキーを、全てのキー・値ペアに対して式を適用することで変換します。 式のカテゴリー: マップ

型変数の範囲:
KはAnyTypeを受け入れます
VはAnyTypeを受け入れます

出力タイプ: Map<K, V>

例

引数の値:

• 適用する式:
  stringBeforeDelimiter(
   delimiter: -,
   expression: key,
   ignoreCase: false,
  )
• マップ: flight_number

詳細はこちらをご覧ください。

---

マップ値の変換

Batchで対応

マップの値を、全てのキー・値ペアに対して式を適用することで変換します。 式のカテゴリー: マップ

型変数の範囲:
KはAnyTypeを受け入れます
VはAnyTypeを受け入れます

出力タイプ: Map<K, V>

例

引数の値:

• 適用する式:
  stringBeforeDelimiter(
   delimiter: -,
   expression: value,
   ignoreCase: false,
  )
• マップ: flight_number

詳細はこちらをご覧ください。

---

空白のトリム

Batch、Streamingで対応

文字列の始めと終わりの空白をトリムします。 式のカテゴリー: データ準備、文字列

出力タイプ: String

例

引数の値:

• 式: hello world
  出力: hello world

詳細はこちらをご覧ください。

---

日付の切り捨て

Batchで対応

日付を最も近い日/週/月/四半期/年まで切り捨てたものを返します。 式のカテゴリー: 日時

出力タイプ: Date

詳細はこちらをご覧ください。

---

タイムスタンプの切り捨て

Batchで対応

指定した単位まで切り捨てたタイムスタンプを返します。 式のカテゴリー: 日時

出力タイプ: Timestamp

例

引数の値:

• 開始: 2022-02-01T10:10:10.0022Z
• 単位: MILLISECONDS 出力: 2022-02-01T10:10:10.002Z

詳細はこちらをご覧ください。

---

Unicodeの正規化

Batch、Streamingで対応

Unicode標準アネックス#15に従ったUnicodeの正規化を実行します。 式のカテゴリー: データ準備、文字列

出力タイプ: String

例

引数の値:

• 式: string
• 正規化形式: nfkc

詳細はこちらをご覧ください。

---

一様乱数

Batch、Streamingで対応

0と1の間で生成された一様乱数の行を返します。これは決定的ではなく、シードを使用しても再構築した場合に同じ結果を生成しません。 式のカテゴリー: 数値

出力タイプ: Double

詳細はこちらをご覧ください。

---

大文字化

Batch、Streamingで対応

文字列の全ての文字を大文字に変換します。 式のカテゴリー: 文字列

出力タイプ: String

例

引数の値:

• 式: hello World 出力: HELLO WORLD

詳細はこちらをご覧ください。

---

マップからの値取得

Batch、Streamingで対応

キーを使用してマップから値を取得します。 式のカテゴリー: マップ

型変数の範囲:
KはComparableTypeを受け入れます
VはAnyTypeを受け入れます

出力タイプ: V

例

引数の値:

• キー: Foo
• マップ: {
   Bar -> World,
   Foo -> Hello,
  } 出力: Hello

詳細はこちらをご覧ください。

---

集計式

---

All of

バッチで対応

集計の論理 'and' を計算します。Null は false と考えられます。 式のカテゴリー: 集計

出力タイプ: Boolean

例

引数の値:

• 式: values 入力テーブル:

出力: false

詳細はこちらをご覧ください。

---

Any of

バッチで対応

集計の論理 'or' を計算します。Null は false と考えられます。 式のカテゴリー: 集計

出力タイプ: Boolean

例

引数の値:

• 式: values 入力テーブル:

出力: true

詳細はこちらをご覧ください。

---

Approximate median

バッチで対応

行の値の近似中央値を計算します。 式のカテゴリー: 集計

出力タイプ: Numeric

例

引数の値:

• 式: values 入力テーブル:

出力: 3

詳細はこちらをご覧ください。

---

Approximate percentile

バッチで対応

表現の近似パーセンタイルを返します。これは、表現の値が最小から最大まで順に並べられた中で、表現の値がその値以下になるのはパーセンテージ以下であるような最小の値です。 式のカテゴリー: 集計

出力タイプ: Array<Numeric> | Byte | Decimal | Double | Float | Integer | Long | Short

例

引数の値:

• 式: values
• パーセンタイル: [0.5]
• 精度: null 入力テーブル:

出力: 3

詳細はこちらをご覧ください。

---

Collect array

バッチ、ストリーミングで対応

各グループ内の値の配列を収集します。Null 値は無視されます。 式のカテゴリー: 集計

タイプ変数の範囲:
T は AnyType を受け入れます

出力タイプ: Array<T>

例

引数の値:

• 式: factor 入力テーブル:

出力: [ 2, 2, 3 ]

詳細はこちらをご覧ください。

---

Collect distinct array

バッチ、ストリーミングで対応

各グループ内の重複しない値の配列を収集します。Null 値は無視されます。 式のカテゴリー: 集計

タイプ変数の範囲:
T は ComparableType を受け入れます

出力タイプ: Array<T>

例

引数の値:

• 式: factor 入力テーブル:

出力: [ 2, 3 ]

詳細はこちらをご覧ください。

---

Covariance

バッチ、ストリーミングで対応

2つの行の値の母集団共分散を計算します。 式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

• 左: left
• 右: right 入力テーブル:

出力: -2.0

詳細はこちらをご覧ください。

オーダリングされた地理点の行から単純なジオメトリーを作成する

対応環境: バッチ

地理点の行とオーダリングが与えられた場合、指定された順序で地理点をつなげてポリゴンまたはラインストリングを返します。この関数は、データが表形式で、単一の行がラインストリング内の個々の地理点またはポリゴンのシェル内の地理点を表し、それらの点の順序を指定する行があると仮定します。ポリゴンの場合、このオーダリングはシェルの周りを反時計回りに移動するときの点を識別するべきです。これらの点のオーダリングとパーティション（グループ化）が与えられると、関数はオーダー・バイ・行の昇順で地理点をつなげて、そのパーティションに必要なジオメトリーを構築します。 表現カテゴリー: Geospatial

出力タイプ: ジオメトリー

例

引数の値:

• GeoPoint: geo_point
• Order by (ascending): order
• Output geometry type: LINE_STRING 与えられた入力テーブル:

出力: {"type":"LineString","coordinates": [[0.0,0.0],[0.0, 1.0],[1.0,1.0]]}

---

密集ランク

対応環境: バッチ

ウィンドウパーティション内の行のランクを、ギャップなしで返します。タイの場合、行は同じランクを取得します。ランクと密集ランクの違いは、タイがある場合に密集ランクがランキングシーケンスにギャップを残さないということです。 表現カテゴリー: アグリゲート

出力タイプ: 整数

詳細は こちらを参照してください。

---

ディスティンクトカウント

対応環境: バッチ、ストリーミング

行のディスティンクトな値の数を計算します。 表現カテゴリー: アグリゲート

出力タイプ: ロング

例

引数の値:

• Expression: values 与えられた入力テーブル:

出力: 3

詳細は こちらを参照してください。

---

ファースト

対応環境: バッチ

グループ内の最初のアイテム。注: アグリゲートまたは順不同のウィンドウ内で使用される場合、選択される行は非決定的になります。 表現カテゴリー: アグリゲート

型変数の制約:
T accepts AnyType

出力タイプ: T

例

引数の値:

• Expression: values
• Ignore nulls: false 与えられた入力テーブル:

出力: 2

詳細は こちらを参照してください。

---

グループ化されたジオメトリーのエンベロープ

対応環境: バッチ

与えられた行のすべての有効なジオメトリーのエンベロープを返します。無効なジオメトリーは null として扱われ、無視されます。 表現カテゴリー: Geospatial

出力タイプ: ジオメトリー

例

引数の値:

• Expression: geometry 与えられた入力テーブル:

出力: {"type":"Polygon","coordinates":[[[-6.0,-92.3],[-6.0,8.4],[125.6,8.4],[125.6,-92.3],[-6.0,-92.3]]]}

詳細は こちらを参照してください。

---

グループ化されたジオメトリーのユニオン

対応環境: バッチ

グループ化されたジオメトリーを組み合わせて単一のジオメトリーを作成します。 表現カテゴリー: Geospatial

出力タイプ: ジオメトリー

例

引数の値:

• Expression: geometry 与えられた入力テーブル:

出力: {"type":"Polygon","coordinates":[[[0.0,0.0],[0.0,1.0],[0.5,1.0],[1.0,1.0],[1.5,1.0],[1.5,0.0],[1.0,0.0],[0.5,0.0],[0.0,0.0]]]}

詳細は こちらを参照してください。

---

グループ化された緯度/経度バウンディングボックス

対応環境: バッチ

与えられた行のすべての有効なジオメトリーの全体的なバウンディングボックスを含む構造体を返します。無効なジオメトリーは null として扱われ、無視されます。 表現カテゴリー: Geospatial

出力タイプ: LatLonBoundingBox

例

引数の値:

• Expression: geometry 与えられた入力テーブル:

出力: {
 maxLat -> 8.4,
 maxLon -> 125.6,
 minLat -> -92.3,
 minLon -> -6.0,
}

詳細は こちらを参照してください。

Lag

対応している: バッチ

ウィンドウ内の現在の行の 'lag' の前の入力値を返します。 式のカテゴリー: 集計

型変数の範囲:
T は AnyType を受け入れます

出力タイプ: T

詳細についてはこちらをご覧ください。

---

Last

対応している: バッチ、ストリーミング

グループ内の最後のアイテム。注: 集計または順序付けされていないウィンドウ内で使用される場合、選択された行は非決定的になります。 式のカテゴリー: 集計

型変数の範囲:
T は AnyType を受け入れます

出力タイプ: T

例

引数の値:

• 式: values
• null を無視: false 入力テーブル:

出力: 3

詳細についてはこちらをご覧ください。

---

Lead

対応している: バッチ

ウィンドウ内の現在の行の 'lead' の後の入力値を返します。 式のカテゴリー: 集計

型変数の範囲:
T は AnyType を受け入れます

出力タイプ: T

詳細についてはこちらをご覧ください。

---

線形回帰勾配

対応している: バッチ

右側（出力変数）と左側（入力変数）の線形回帰勾配を計算します。 式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

• 左: left
• 右: right 入力テーブル:

出力: -1.0

詳細についてはこちらをご覧ください。

---

Max

対応している: バッチ、ストリーミング

列内の最大値を計算します。 式のカテゴリー: 数値

出力タイプ: ComparableType

例

引数の値:

• 式: values 入力テーブル:

出力: 4

詳細についてはこちらをご覧ください。

---

平均

対応している: バッチ、ストリーミング

列内の値の平均を計算します。 式のカテゴリー: 数値

出力タイプ: Decimal | Double

例

引数の値:

• 式: values 入力テーブル:

出力: 3.0

詳細についてはこちらをご覧ください。

---

Min

対応している: バッチ、ストリーミング

列内の最小値を計算します。 式のカテゴリー: 数値

出力タイプ: ComparableType

例

引数の値:

• 式: values 入力テーブル:

出力: 2

詳細についてはこちらをご覧ください。

モード

対応しているのは: バッチ

行内の値のモードを計算します。 式のカテゴリー: 集計

タイプ変数の範囲：
String は String を受け入れる

出力タイプ: String

例

引数の値:

• 式: values 入力されたテーブル:

出力: b

詳細はこちらをご覧ください。

---

パーセントランク

対応しているのは: バッチ

ウィンドウパーティション内の行のパーセンタイルを返します。引き分けの場合は、同じパーセントが割り当てられます。 式のカテゴリー: 集計

出力タイプ: Double

詳細はこちらをご覧ください。

---

ピボット

対応しているのは: ストリーミング

ピボットコンテキストで集計式を適用します。集計は、ピボット式の各異なる値にスコープされた一連の個別の集計として実行されます。出力は、ピボット値から集計式の値へのマップです。 式のカテゴリー: 集計

タイプ変数の範囲：
K は ComparableType を受け入れる
V は AnyType を受け入れる

出力タイプ: Map<K, V>

例

引数の値:

• 集計式:
  sum(
   expression: value,
  )
• ピボット式: pivot 入力されたテーブル:

出力: {
 a -> 4,
 b -> 2,
}

詳細はこちらをご覧ください。

---

積

対応しているのは: バッチ

すべての入力列の積を計算します。 式のカテゴリー: 数値

出力タイプ: Double

例

引数の値:

• 式: factor 入力されたテーブル:

出力: 24.0

詳細はこちらをご覧ください。

---

ランク

対応しているのは: バッチ

ウィンドウパーティション内の行のランクを返します。引き分けの場合、行は同じランクを取得します。ランクと密度ランクの違いは、ランクは引き分けがあるとランキングシーケンスにギャップができることです。 式のカテゴリー: 集計

出力タイプ: Integer

詳細はこちらをご覧ください。

---

行数

対応しているのは: バッチ, ストリーミング

グループ内の非null行の数をカウントします。 式のカテゴリー: 集計

出力タイプ: Long

例

引数の値:

• 式: values 入力されたテーブル:

出力: 3

詳細はこちらをご覧ください。

---

行番号

対応しているのは: バッチ, ストリーミング

パーティション内で 1 から始まる連続した番号を返します。 式のカテゴリー: 集計

出力タイプ: Integer

詳細はこちらをご覧ください。

---

サンプル共分散

対応しているのは: バッチ, ストリーミング

2つの列の値のサンプル共分散を計算します。 式のカテゴリー: 集計

出力タイプ: Double

例

引数の値:

• 左: left
• 右: right 入力されたテーブル:

出力: -2.5

詳細はこちらをご覧ください。

標本分散

対応しているプロセス：Batch、Streaming

行内の値の標本分散を計算します。 式カテゴリー：集計

出力タイプ： Double

例

引数の値：

• 式： values 入力されたテーブル：

出力： 0.33333333333

詳細はこちらを参照してください。

---

標準偏差

対応しているプロセス：Batch

行内の値の標準偏差を計算します。 式カテゴリー：数値

出力タイプ： Double

例

引数の値：

• 式： values 入力されたテーブル：

出力： 0.81649658092773

詳細はこちらを参照してください。

---

合計

対応しているプロセス：Batch、Streaming

指定された式を合計します。 式カテゴリー：数値

出力タイプ： Decimal | Double | Long

例

引数の値：

• 式： values 入力されたテーブル：

出力： 9

詳細はこちらを参照してください。

---

分散

対応しているプロセス：Batch、Streaming

行内の値の母集団分散を計算します。 式カテゴリー：集計

出力タイプ： Double

例

引数の値：

• 式： values 入力されたテーブル：

出力： 0.66666666667

詳細はこちらを参照してください。

---

ジェネレーター式

---

配列の展開

対応しているプロセス：Batch、Streaming

配列を値ごとの行に展開します。 式カテゴリー：配列

型変数の範囲：
T は AnyType を受け入れます

出力タイプ： T

詳細はこちらを参照してください。

---

位置情報付き配列の展開

対応しているプロセス：Batch、Streaming

配列を値ごとの行に展開し、配列内での要素の相対位置とその要素自体を含む構造体として出力します。 式カテゴリー：配列

型変数の範囲：
T は AnyType を受け入れます

出力タイプ： Struct<Optional[position], Optional[element]>

詳細はこちらを参照してください。

---

マップの展開

対応しているプロセス：Batch、Streaming

マップをキー、値ペアごとの行に展開します。 式カテゴリー：マップ

型変数の範囲：
TKey は AnyType を受け入れます
TValue は AnyType を受け入れます

出力タイプ： Struct<Optional[key], Optional[value]>

詳細はこちらを参照してください。

---

変換

---

集約

Batch で対応

指定された集約を一連の行に対して実行し、入力データセットをグループ化します。 変換カテゴリー: 集約、人気

例

引数の値:

• 集約: [
  alias(
   alias: factor,
   expression:
  sum(
   expression: factor,
  ),
  )]
• データセット: ri.foundry.main.dataset.aggregate
• グループ化する行: [tail_number] 入力: | tail_number | airline | miles | factor | | ----- | ----- | ----- | ----- | | XB-123 | foundry air | 124 | 2 | | MT-222 | new airline | 1123 | 5 | | XB-123 | foundry airline | 335 | 5 | | MT-222 | new air | 565 | 4 | | KK-452 | new air | 222 | 1 | | XB-123 | foundry airline | 1134 | 3 |

出力:

詳細は こちら をご覧ください。

---

条件に基づく集約

Batch で対応

条件文に基づいて集約式を実行します。 変換カテゴリー: その他

詳細は こちら をご覧ください。

---

ウィンドウ上の集約

Streaming で対応

ウィンドウ内のデータに対して指定された集約を実行し、提供されたトリガーに指定された通りに出力を発行します。 変換カテゴリー: 集約

詳細は こちら をご覧ください。

---

アンチ結合

Batch で対応

左右のデータセット入力をアンチ結合します。これにより、結合条件に一致するすべての行が削除されます。 変換カテゴリー: 結合

例

引数の値:

• 左側で選択する列に対する条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 結合条件:
  equals(
   left: tail_number,
   right: tail_number,
  )
• 左側のデータセット: ri.foundry.main.dataset.left
• 右側のデータセット: ri.foundry.main.dataset.right 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | tail_number | airline | | ----- | ----- | | PA-452 | new air |

詳細は こちら をご覧ください。

---

式の適用

Batch, Streaming で対応

単一の式を適用して入力データセットを変換します。 変換カテゴリー: その他

例

引数の値:

• データセット: ri.foundry.main.dataset.a
• 式:
  alias(
   alias: kilometers,
   expression:
  convertDistance(
   amount: miles,
   currentUnit: mile,
   targetUnit: kilometer,
  ),
  ) 入力: | airline | miles | | ----- | ----- | | foundry airways | 2500 | | new air | 3000 |

出力:

詳細は こちら をご覧ください。

---

配列要素を列にする

Batch で対応

配列から要素を抽出し、それらを列にします。 変換カテゴリー: その他

例

引数の値:

• 配列: stats
• 抽出する列: [miles, id]
• データセット: ri.foundry.main.dataset.a 入力: | stats | | ----- | | [ 1000, 2 ] |

出力:

詳細は こちら をご覧ください。

タイムスタンプとウォーターマークの割り当て

対応している処理タイプ: ストリーミング

入力にタイムスタンプとウォーターマークを割り当て、タイムスタンプが null のレコードをフィルター処理します トランスフォームカテゴリー: その他

例

引数の値:

• データセット: ri.foundry.main.dataset.a
• タイムスタンプ式: timestamp
• 各レコードでウォーターマークを発行: null 入力: | timestamp | temperature | sensor_id | | ----- | ----- | ----- | | 1969-12-31T23:59:50Z | 28 | sensor_1 | | 1969-12-31T23:59:40Z | 30 | sensor_2 | | 1969-12-31T23:59:35Z | 29 | sensor_1 |

出力:

詳細はこちらでご覧ください。

---

クロス結合

対応している処理タイプ: バッチ

左側と右側のデータセット入力をクロス結合します トランスフォームカテゴリー: 結合

例

引数の値:

• 左側で選択する列の条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右側で選択する列の条件:
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 左側のデータセット: ri.foundry.main.dataset.left
• 右側のデータセット: ri.foundry.main.dataset.right
• 右側からの列のプレフィックス: null 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | tail_number | airline | home_airport | | ----- | ----- | ----- | | XB-123 | foundry air | LHR | | XB-123 | foundry air | CPH | | XB-123 | foundry air | JFK | | XB-123 | foundry air | IAD | | MT-222 | new airline | LHR | | MT-222 | new airline | CPH | | MT-222 | new airline | JFK | | MT-222 | new airline | IAD | | PA-452 | new air | LHR | | PA-452 | new air | CPH | | PA-452 | new air | JFK | | PA-452 | new air | IAD |

詳細はこちらでご覧ください。

---

日付の分布

対応している処理タイプ: バッチ

指定された列の日付/タイムスタンプの分布を計算します。 トランスフォームカテゴリー: 日時

詳細はこちらでご覧ください。

---

列の削除

対応している処理タイプ: バッチ, ストリーミング

指定された列を削除して入力データセットを変換します トランスフォームカテゴリー: 人気

例

引数の値:

• 削除する列: {miles}
• データセット: ri.foundry.main.dataset.a 入力: | airline | miles | airports | | ----- | ----- | ----- | | foundry airways | 3000 | [ JFK, SFO ] |

出力:

詳細はこちらでご覧ください。

---

重複の削除

対応している処理タイプ: バッチ

入力から重複した行を削除します トランスフォームカテゴリー: その他

例

引数の値:

• データセット: ri.foundry.main.dataset.aggregate
• 列のサブセット: {tail_number} 入力: | tail_number | airline | miles | factor | | ----- | ----- | ----- | ----- | | XB-123 | foundry air | 124 | 2 | | MT-222 | new airline | 1123 | 5 | | XB-123 | foundry airline | 335 | 5 | | MT-222 | new air | 565 | 4 | | KK-452 | new air | 222 | 1 | | XB-123 | foundry airline | 1134 | 3 |

出力:

詳細はこちらでご覧ください。

---

空のテーブル

対応している処理タイプ: バッチ, ストリーミング

指定されたスキーマとリードモードで空のテーブルを作成します。 トランスフォームカテゴリー: その他

詳細はこちらでご覧ください。

---

データセットからファイルメタデータを行として抽出

対応している処理タイプ: バッチ

ファイルのデータセットからファイルメタデータを行として読み込みます。 トランスフォームカテゴリー: ファイル

詳細はこちらでご覧ください。

複数の構造体フィールドを抽出

バッチで対応

構造体から複数のフィールドを抽出します。元の構造体は削除されます。 変換カテゴリー: 構造体

例

引数の値:

• データセット: ri.foundry.main.dataset.a
• ロケータ: [(airline.name, airline), (tail_no, tail_number)]
• 構造体: raw 入力: | raw | | ----- | | {
   airline: {
   id: NA,
   name: new air,
  },
   tail_no: NA-123,
  } | | {
   airline: {
   id: FA,
   name: foundry airways,
  },
   tail_no: FA-123,
  } |

出力:

詳細はこちらを参照してください。

---

GeoJSONファイルから行を抽出

バッチで対応

ファイルのデータセットを読み取り、各GeoJSONファイルを行に解析します。出力データセットには、geometry列と、_errorおよび_file列を除くユーザーが指定した各プロパティの列が含まれます。ユーザーが抽出するプロパティを指定しない場合、すべてのプロパティが文字列としてproperties列に抽出されます。ファイル内のすべてのGeoJSONは、次のいずれかでなければなりません。 a) 複数行のFeatureCollection: FeatureCollectionタイプの1つのGeoJSONであるファイル全体 b) 単一行のFeature: すべての行がFeatureタイプの完全に有効なGeoJSONであるファイル。 変換カテゴリー: ファイル, 地理空間情報

詳細はこちらを参照してください。

---

JSONファイルから行を抽出

バッチで対応

ファイルのデータセットを読み取り、各JSONファイルを行に解析します 変換カテゴリー: ファイル, 文字列, 構造体

詳細はこちらを参照してください。

---

テキストファイルのデータセットから行を抽出

バッチで対応

テキストファイルのデータセットを読み取り、各ファイルを行に解析します 変換カテゴリー: ファイル, 文字列

詳細はこちらを参照してください。

---

XMLファイルから行を抽出

バッチで対応

ファイルのデータセットを読み取り、各XMLファイルを行に解析します 変換カテゴリー: ファイル

詳細はこちらを参照してください。

---

シェープファイルから行を抽出

バッチで対応

ファイルのデータセットを読み取り、各シェープファイルを行に解析します。.shp、.shx、.dbfファイル以外のすべてのファイルは無視されます。このシェープファイルパーサーは、ポイント、ポリライン、ポリゴン、マルチポイントのジオメトリタイプのみをサポートしています。出力データセットには、geometry列と、_errorおよび_file列を除くユーザーが指定した各プロパティの列が含まれます。ユーザーが抽出するプロパティを指定しない場合、すべてのプロパティが文字列としてproperties列に抽出されます。 変換カテゴリー: ファイル, 地理空間情報

詳細はこちらを参照してください。

---

フィルター処理する

バッチ、ストリーミングで対応

指定されたフィルター条件に基づいて入力データセットをフィルター処理します。 変換カテゴリー: 人気

例

引数の値:

• データセット: ri.foundry.main.dataset.a
• フィルター条件: recently_serviced 入力: | recently_serviced | tail_number | | ----- | ----- | | true | KK-150 | | false | XB-120 | | true | MT-190 |

出力:

詳細はこちらを参照してください。

---

構造体をフラット化

バッチ、ストリーミングで対応

構造体のすべてのフィールドを取り、出力データセットの列に変換します。 変換カテゴリー: 構造体

例

引数の値:

• データセット: ri.foundry.main.dataset.a
• 式: raw
• 最大深度: 2
• 列接頭辞: new_
• セパレータ: null 入力: | raw | | ----- | | {
   airline: {
   id: NA,
   name: new air,
  },
   tail_no: NA-123,
  } | | {
   airline: {
   id: FA,
   name: foundry airways,
  },
   tail_no: FA-123,
  } |

出力:

詳細はこちらを参照してください。

Geo distance inner join

対応: バッチ処理

入力ジオメトリ間の距離に基づいて左右のデータセットを内部結合します。内部的には、結合前と後でジオメトリを指定した投影座標参照系に変換し、WGS84に戻します。 変換カテゴリー: Geospatial、Join

例

引数の値:

• 左側で選択する行の条件:
  columnNameIsIn(
   columnNames: [geometryColLhs, lhs-1],
  )
• 右側で選択する行の条件:
  columnNameIsIn(
   columnNames: [geometryCol, arrayCol],
  )
• 距離: 10.0
• 結合キー: (geometryColLhs, geometryCol)
• 左側のデータセット: ri.foundry.main.dataset.left
• 投影座標系: EPSG:4326
• 右側のデータセット: ri.foundry.main.dataset.right
• 右側からの行のプレフィックス: rhs_ 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | geometryColLhs | lhs-1 | rhs_geometryCol | rhs_arrayCol | | ----- | ----- | ----- | ----- | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"} | [ 0.0, 1.0 ] | | {"coordinates": [[25.0, 0.0], [0.0, 25.0]], "type":"LineString"} | 44.0 | {"coordinates": [[[20.0, 10.0], [27.0, 10.0], [27.0, 17.0], [20.0, 17.0], [20.0, 10.0]]], "type": "Polygon"} | [ 0.0, 1.0 ] |

詳細はこちらをご覧ください。

---

Geo distance left join

対応: バッチ処理

入力ジオメトリ間の距離が指定した距離以下であれば、データセットを左結合します。内部的には、結合前と後でジオメトリを指定した投影座標参照系に変換し、WGS84に戻します。 変換カテゴリー: Geospatial、Join

例

引数の値:

• 左側で選択する行の条件:
  columnNameIsIn(
   columnNames: [geometryColLhs, lhs-1],
  )
• 右側で選択する行の条件:
  columnNameIsIn(
   columnNames: [geometryColRhs, rhs-1],
  )
• 距離: 1640.42
• 結合キー: (geometryColLhs, geometryColRhs)
• 左側のデータセット: ri.foundry.main.dataset.left
• 投影座標系: epsg:2868
• 右側のデータセット: ri.foundry.main.dataset.right
• 右側からの行のプレフィックス: null 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | geometryColLhs | lhs-1 | geometryColRhs | rhs-1 | | ----- | ----- | ----- | ----- | | {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 | {"coordinates": [-112.14560508728029,33.44082430962016], "type":"Point"} | rhsVal1 | | null | 43.0 | null | null |

詳細はこちらをご覧ください。

---

Geo intersection inner join

対応: バッチ処理, ストリーミング

入力ジオメトリが重なるかどうかに基づいて左右のデータセットを内部結合します。結果には、ちょうど接しているジオメトリも含まれます。 変換カテゴリー: Geospatial、Join

例

引数の値:

• 左側で選択する列の条件:
  allColumns(
  
  )
• 右側で選択する列の条件:
  allColumns(
  
  )
• 結合キー: (geometryColLhs, geometryColRhs)
• 左データセット: ri.foundry.main.dataset.left
• 右データセット: ri.foundry.main.dataset.right
• 右からの列のプレフィックス: null 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | geometryColLhs | col1Lhs | geometryColRhs | col1Rhs | | ----- | ----- | ----- | ----- | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"} | rhsVal1 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [0.0, 0.0], "type":"Point"} | rhsVal3 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal5 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal7 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal9 |

詳細はこちらを参照してください。

---

Geo intersection left join

対応バージョン: バッチ

入力データセットをジオメトリが重なる基準で左結合します。結果には、ジオメトリが触れているものも含まれます。 変換カテゴリ: 地理空間情報、結合

例

引数の値:

• 左側で選択する列の条件:
  allColumns(
  
  )
• 右側で選択する列の条件:
  allColumns(
  
  )
• 結合キー: (geometryColLhs, geometryColRhs)
• 左データセット: ri.foundry.main.dataset.left
• 右データセット: ri.foundry.main.dataset.right
• 右からの列のプレフィックス: null 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | geometryColLhs | col1Lhs | geometryColRhs | col1Rhs | | ----- | ----- | ----- | ----- | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"} | rhsVal1 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [0.0, 0.0], "type":"Point"} | rhsVal3 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal5 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal7 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal9 | | {"coordinates": [55.0, 5.0], "type":"Point"} | 43.0 | null | null |

詳細はこちらを参照してください。

---

Geo point-to-point 3d distance inner join

対応バージョン: バッチ

左データセットと右データセットを、点ジオメトリ間の距離に基づいて内部結合します。ジオメトリは点を表していなければならず、オプションで z 座標を含めることができます。内部的にジオメトリを指定された投影座標参照系に変換し、結合後に WGS84 に戻します。非点ジオメトリは無視され、右データセット全体がドライバーとエクゼキューターのメモリに収まるようにする必要があります。3GB のエクゼキューターは、近隣のデータセットに最大 400万点まで対応できるはずです。 変換カテゴリ: 地理空間情報、結合

例

引数の値:

• 左側で選択する列の条件:
  columnNameIsIn(
   columnNames: [geometryColLhs, lhs-1],
  )
• 右側で選択する列の条件:
  columnNameIsIn(
   columnNames: [geometryCol, arrayCol],
  )
• 距離: 2.5
• 結合キー: (geometryColLhs, geometryCol)
• 左データセット: ri.foundry.main.dataset.left
• 投影座標系: EPSG:4326
• 右データセット: ri.foundry.main.dataset.right
• z 座標を使用する: false
• 右からの列のプレフィックス: rhs_ 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | geometryColLhs | lhs-1 | rhs_geometryCol | rhs_arrayCol | | ----- | ----- | ----- | ----- | | {"coordinates": [0.0, 0.0, 0.0], "type":"Point"} | 42.0 | {"coordinates": [0.0, 0.0, 2.0], "type":"Point"} | [ 0.0, 1.0 ] | | {"coordinates": [0.0, 0.0, 0.0], "type":"Point"} | 42.0 | {"coordinates": [0.0, 1.0], "type":"Point"} | [ 0.0, 1.0 ] | | {"coordinates": [0.0, 0.0, 5.0], "type":"Point"} | 43.0 | {"coordinates": [0.0, 0.0, 2.0], "type":"Point"} | [ 0.0, 1.0 ] | | {"coordinates": [0.0, 0.0, 5.0], "type":"Point"} | 43.0 | {"coordinates": [0.0, 1.0], "type":"Point"} | [ 0.0, 1.0 ] | | {"coordinates": [0.0, 0.0], "type":"Point"} | 44.0 | {"coordinates": [0.0, 0.0, 2.0], "type":"Point"} | [ 0.0, 1.0 ] | | {"coordinates": [0.0, 0.0], "type":"Point"} | 44.0 | {"coordinates": [0.0, 1.0], "type":"Point"} | [ 0.0, 1.0 ] |

詳細はこちらを参照してください。

---

Geometry intersection join

対応バージョン: バッチ

入力ジオメトリが重なる基準で左データセットと右データセットを結合します。結合キー列のペアが交差するジオメトリを持っている場合、両データセットのすべての列を含む行を返します。現在、複数の結合キーでの結合はサポートしていません。結合キーのジオメトリ値が null のものは無音でフィルタリングします。左データセットと右データセットは同じ列名を持ってはなりません。結合列の無効な GeoJSON は無音で null 化します。 変換カテゴリ: 地理空間情報、結合

例

引数の値:

• 結合キー: [(geometryColLhs, geometryColRhs)]
• 左データセット: ri.foundry.main.dataset.left
• 右データセット: ri.foundry.main.dataset.right 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | geometryColLhs | lhs-1 | geometryColRhs | rhs-1 | | ----- | ----- | ----- | ----- | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], "type": "Polygon"} | rhsVal1 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [0.0, 0.0], "type":"Point"} | rhsVal3 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal5 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[-1.0, -1.0], [5.0, 5.0]], "type":"LineString"} | rhsVal7 | | {"coordinates": [[[0.0, 0.0], [10.0, 0.0], [10.0, 10.0], [0.0, 10.0], [0.0, 0.0]]], "type": "Polygon"} | 42.0 | {"coordinates": [[[[2.0, 2.0], [7.0, 2.0], [7.0, 7.0], [2.0, 7.0], [2.0, 2.0]]], [[[12.0, 12.0], [17.0, 12.0], [17.0, 17.0], [12.0, 17.0], [12.0, 12.0]]]], "type":"MultiPolygon"} | rhsVal9 |

詳細はこちらを参照してください。

---

Geometry knn inner join

対応バージョン: バッチ

ベースデータセットの各有効な入力ジオメトリに対して、近隣データセットから k 最近傍の点を選択します。内部的に入力データセットを指定された座標参照系に変換し、WGS84 に戻します。近隣データセット全体がドライバーとエクゼキューターのメモリに収まるようにする必要があります。3GB のエクゼキューターは、近隣データセットに最大 100万点まで対応できるはずです。 変換カテゴリ: 地理空間情報、結合

例

引数の値:

• ベースデータセット: ri.foundry.main.dataset.left
• 左側で選択する列の条件:
  columnNameIsIn(
   columnNames: [geometryCol, lhsCol],
  )
• 右側で選択する列の条件:
  columnNameIsIn(
   columnNames: [geometryCol, col],
  )
• 結合キー: (geometryCol, geometryCol)
• K: 2
• 近隣データセット: ri.foundry.main.dataset.right
• 投影座標系: epsg:2868
• 右からの列のプレフィックス: rhs_ 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | geometryCol | lhsCol | rhs_geometryCol | rhs_col | | ----- | ----- | ----- | ----- | | {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 | {
   latitude: 33.440609443703586,
   longitude: -112.14843750000001,
  } | rhsVal1 | | {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 | {
   latitude: 33.44082430962016,
   longitude: -112.14560508728029,
  } | rhsVal2 |

詳細はこちらを参照してください。

---

Geometry knn left join

対応バージョン: バッチ

ベースデータセットの各有効な入力ジオメトリに対して、近隣データセットから k 最近傍の点を選択します。内部的に入力データセットを指定された座標参照系に変換し、WGS84 に戻します。近隣データセット全体がドライバーとエクゼキューターのメモリに収まるようにする必要があります。3GB のエクゼキューターは、近隣データセットに最大 100万点まで対応できるはずです。 変換カテゴリ: 地理空間情報、結合

例

引数の値:

• ベースデータセット: ri.foundry.main.dataset.left
• 左側で選択する列の条件:
  columnNameIsIn(
   columnNames: [geometryCol, lhsCol],
  )
• 右側で選択する列の条件:
  columnNameIsIn(
   columnNames: [geometryCol, col],
  )
• 結合キー: (geometryCol, geometryCol)
• K: 2
• 近隣データセット: ri.foundry.main.dataset.right
• 投影座標系: epsg:2868
• 右からの列のプレフィックス: rhs_ 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | geometryCol | lhsCol | rhs_geometryCol | rhs_col | | ----- | ----- | ----- | ----- | | {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 | {
   latitude: 33.440609443703586,
   longitude: -112.14843750000001,
  } | rhsVal1 | | {"coordinates": [-112.14843750000001,33.440609443703586], "type":"Point"} | 42.0 | {
   latitude: 33.44082430962016,
   longitude: -112.14560508728029,
  } | rhsVal2 |

詳細はこちらを参照してください。

メディアリファレンスの取得（データセット）

Batch で利用可能

データセット内のファイルのメディアリファレンスと基本的なメタデータを含むデータセットを生成します。 変換カテゴリー：ファイル

詳細はこちらをご覧ください。

---

メディアリファレンスの取得（メディアセット）

Batch で利用可能

メディアセット内のメディアアイテムのメディアリファレンスと基本的なメタデータを含むデータセットを生成します。 変換カテゴリー：ファイル

詳細はこちらをご覧ください。

---

ハートビート検出

Streaming で利用可能

設定したキーのセットに対して、一定の時間レコードが見られなかったときを検出します。 変換カテゴリー：その他

詳細はこちらをご覧ください。

---

内部結合

Batch で利用可能

左側と右側のデータセット入力を内部結合します 変換カテゴリー：結合

例

引数の値：

• 左側で選択する行の条件：
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右側で選択する行の条件：
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 結合条件：
  equals(
   left: tail_number,
   right: tail_number,
  )
• 左側のデータセット：ri.foundry.main.dataset.left
• 右側のデータセット：ri.foundry.main.dataset.right
• 右からの行のプレフィックス：null 入力： ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力： | tail_number | airline | home_airport | | ----- | ----- | ----- | | XB-123 | foundry air | LHR | | MT-222 | new airline | CPH | | XB-123 | foundry airline | LHR | | MT-222 | new air | CPH | | KK-452 | new air | JFK | | XB-123 | foundry airline | LHR |

詳細はこちらをご覧ください。

---

結合

Batch, Streaming で利用可能

左側と右側のデータセット入力を結合します 変換カテゴリー：その他

詳細はこちらをご覧ください。

---

キー指定

Streaming で利用可能

指定したキーにより入力をキー指定します。データは再ソートされず、キーが設定された時点からキーごとの順序のみが維持されることに注意してください。再キー指定されたデータは、新たにキー指定されたデータが特定の順序に依存していた場合、その順序は以前のキー指定によってすでに維持されていない限り、それを保証できないため、不安定になる可能性があります。さらに、主キーフィールドが指定された場合、主キーを設定します。主キーは、どの行が更新、削除であり、現在のビューとして読み取られたときの順序を示す行を定義します。 変換カテゴリー：その他

詳細はこちらをご覧ください。

---

左外部結合

Batch で利用可能

左側と右側のデータセット入力を左外部結合します 変換カテゴリー：結合

例

引数の値：

• 左側で選択する行の条件：
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右側で選択する行の条件：
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 結合条件：
  equals(
   left: tail_number,
   right: tail_number,
  )
• 左側のデータセット：ri.foundry.main.dataset.left
• 右側のデータセット：ri.foundry.main.dataset.right
• 右からの行のプレフィックス：null 入力： ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力： | tail_number | airline | home_airport | | ----- | ----- | ----- | | XB-123 | foundry air | LHR | | MT-222 | new airline | CPH | | XB-123 | foundry airline | LHR | | MT-222 | new air | CPH | | KK-452 | new air | JFK | | PA-452 | new air | null | | XB-123 | foundry airline | LHR |

詳細はこちらをご覧ください。

---

左ルックアップ結合

Streaming で利用可能

左側と右側のデータセット入力を左外部結合します 変換カテゴリー：結合

例

引数の値：

• 左側で選択する行の条件：
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右側で選択する行の条件：
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 結合条件：[(tail_number, tail_number)]
• 左側のデータセット：ri.foundry.main.dataset.left
• 右側のデータセット：ri.foundry.main.dataset.right
• 右からの行のプレフィックス：null 入力： ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力： | tail_number | airline | home_airport | | ----- | ----- | ----- | | XB-123 | foundry air | LHR | | MT-222 | new airline | CPH | | XB-123 | foundry airline | LHR | | MT-222 | new air | CPH | | KK-452 | new air | JFK | | PA-452 | new air | null | | XB-123 | foundry airline | LHR |

詳細はこちらをご覧ください。

---

手動入力テーブル

Batch, Streaming で利用可能

手動で入力されたテーブルデータを使用して出力を作成します。 変換カテゴリー：その他

例

引数の値：

• 行：[{
   airline: foundry airlines,
   flight_code: 112,
   flight_number: XB-123,
  }, {
   airline: foundry airlines,
   flight_code: 533,
   flight_number: MT-444,
  }, {
   airline: new air,
   flight_code: 934,
   flight_number: KK-123,
  }]
• スキーマ：Struct<flight_code, flight_number, airline> 入力： | flight_code | flight_number | airline | | ----- | ----- | ----- | | 112 | XB-123 | foundry airlines | | 533 | MT-444 | foundry airlines | | 934 | KK-123 | new air |

出力：

詳細はこちらをご覧ください。

マッピング結合

バッチでサポートされています

ソースデータセットのターゲット列の値を、マッピングデータセットの値に置き換えます。 変換カテゴリー: その他

型変数の範囲:
T1 は AnyType を受け入れます
T2 は AnyType を受け入れます

例

引数の値:

• 入力データセット: ri.foundry.main.dataset.input
• マッピング値のキー列: flight_code
• マッピングデータセット: ri.foundry.main.dataset.mapping
• ターゲット列: [flight_no, next_flight]
• マッピングに使用する値: flight_number
• 一意のマッピングを想定: null
• デフォルト値: unknown 入力: ri.foundry.main.dataset.inputri.foundry.main.dataset.mapping出力: | flight_no | next_flight | departure_time | | ----- | ----- | ----- | | MT-444 | XB-123 | 2022-01-20T10:45:00Z | | KK-123 | MT-444 | 2022-01-20T11:20:00Z | | unknown | KK-123 | 2022-01-20T11:20:00Z |

詳細は ここ でご覧いただけます。

---

名前によるナローな結合

バッチでサポートされています

一連のデータセットを、その列名の交差点に基づいて結合します。すべての入力データセットに存在しない列は削除されます。 変換カテゴリー: その他

例

引数の値:

• 結合するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b] 入力: ri.foundry.main.dataset.ari.foundry.main.dataset.b出力: | recently_serviced | tail_number | | ----- | ----- | | true | KK-150 | | false | XB-120 | | true | MT-190 | | true | AA-200 | | true | BN-435 | | true | BN-111 |

詳細は ここ でご覧いただけます。

---

列名の正規化

バッチ、ストリーミングでサポートされています

列名を lower_snake_case を使用して正規化します 変換カテゴリー: データ準備

例

引数の値:

• データセット: ri.foundry.main.dataset.a
• 特殊文字を削除: null 入力: | recentlyServiced | tailNumber | _airlineCode | | ----- | ----- | ----- | | true | KK-150 | KK | | false | XB-120 | XB | | true | MT-190 | MT |

出力:

詳細は ここ でご覧いただけます。

---

数値分布

バッチでサポートされています

指定した列の数値の分布を計算します。 変換カテゴリー: 数値

詳細は ここ でご覧いただけます。

---

外部キャッシュ結合

ストリーミングでサポートされています

マッチ条件をすべて満たし、キャッシュウィンドウ内にある左右の入力からの行、および両方の入力からのマッチしない行を結合します。 変換カテゴリー: その他

詳細は ここ でご覧いただけます。

---

外部キャッシュ結合

ストリーミングでサポートされています

左と右のデータセット入力を結合し、それぞれの側から最新の値をキャッシュして後続の結合に使用します。対応する値がない場合は楽観的に結果が出力されます。 変換カテゴリー: その他

詳細は ここ でご覧いただけます。

---

外部結合

バッチでサポートされています

外部結合は外部と右のデータセット入力を結合します。 変換カテゴリー: 結合

例

引数の値:

• 左側で選択する列の条件:
  columnNameIsIn(
   columnNames: [tail_number, airline],
  )
• 右側で選択する列の条件:
  columnNameIsIn(
   columnNames: [home_airport],
  )
• 結合条件:
  equals(
   left: tail_number,
   right: tail_number,
  )
• 左のデータセット: ri.foundry.main.dataset.left
• 右のデータセット: ri.foundry.main.dataset.right
• 右からの列のプレフィックス: null 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | tail_number | airline | home_airport | | ----- | ----- | ----- | | XB-123 | foundry air | LHR | | MT-222 | new airline | CPH | | XB-123 | foundry airline | LHR | | MT-222 | new air | CPH | | KK-452 | new air | JFK | | PA-452 | new air | null | | XB-123 | foundry airline | LHR | | JR-201 | null | IAD |

詳細は ここ でご覧いただけます。

---

ピボット

バッチでサポートされています

入力データセットに指定された集計を行のセットに対して実行します。出力スキーマがランタイム前に既知であるように、ピボットするユニークな値を提供する必要があります。これにより、ランタイムの安定性が時間とともに向上します。 変換カテゴリー: 集計、人気

型変数の範囲:
T は Boolean | Byte | Integer | Long | Short | String を受け入れます

例

引数の値:

• 集計: [
  alias(
   alias: miles,
   expression:
  mean(
   expression: miles,
  ),
  )]
• データセット: ri.foundry.main.dataset.a
• グループ化する列: [airline]
• ピボットする列: airport
• ピボットする値: [(JFK, new_york), (LHR, london)]
• 別名のプレフィックスまたはサフィックス: null 入力: | airline | airport | miles | | ----- | ----- | ----- | | foundry airways | JFK | 1002345 | | foundry airways | LHR | 2221324 | | new air | SFO | 21356673 | | new air | JFK | 12323456 | | foundry airways | LHR | 12542352 | | new air | JFK | 12232355 |

出力:

詳細は ここ でご覧いただけます。

プロジェクト

対応可能な処理: バッチ、ストリーミング

入力データセットを行を選択するか、行に対して関数を適用することで変換します。 変換カテゴリー: その他

例

引数の値:

• 行: [
  alias(
   alias: airline,
   expression: airlin,
  )]
• データセット: ri.foundry.main.dataset.a
• その他の行を保持: false 入力: | airlin | miles | | ----- | ----- | | foundry airways | 2500 | | new air | 3000 |

出力:

詳細はこちらをご覧ください。

---

条件に基づくプロジェクト

対応可能な処理: バッチ、ストリーミング

入力データセットを行を選択するか、行に対して関数を適用することで変換します。 変換カテゴリー: ポピュラー

詳細はこちらをご覧ください。

---

ウィンドウを超えてプロジェクト

対応可能な処理: バッチ、ストリーミング

ウィンドウ内のデータに指定した集計を実行します。新しい行が受信されるたびに1行を出力します。 変換カテゴリー: 集約

詳細はこちらをご覧ください。

---

行の名前を変更

対応可能な処理: バッチ、ストリーミング

一連の行の名前を変更します 変換カテゴリー: データ準備、ポピュラー

例

引数の値:

• 入力データセット: ri.foundry.main.dataset.a
• 名前の変更: [(recently_serviced, does_not_require_service)] 入力: | recently_serviced | tail_number | airline_code | | ----- | ----- | ----- | | true | KK-150 | KK | | false | XB-120 | XB | | true | MT-190 | MT |

出力:

詳細はこちらをご覧ください。

---

データの再分割

対応可能な処理: バッチ

データのシャッフルを強制し、パーティションの数は自動的に決定されます。 変換カテゴリー: その他

詳細はこちらをご覧ください。

---

ロールアップ

対応可能な処理: バッチ

入力データセットに対して指定した集計を実行し、粒度の異なるレベルで中間集計とスーパー集計を提供します。 変換カテゴリー: 集約

例

引数の値:

• 集計: [
  alias(
   alias: mean_price,
   expression:
  mean(
   expression: price,
  ),
  )]
• データセット: ri.foundry.main.dataset.rollupBaseCase
• ロールアップ行: [city, model] 入力: | city | model | price | store | | ----- | ----- | ----- | ----- | | London | new phone | 900.0 | MegaMart | | London | new phone | 850.75 | AA | | London | new phone | 870.75 | ABC Zone | | San Francisco | new phone | 1000.0 | Prescos | | San Francisco | new phone | 950.25 | XZY Force | | San Francisco | new phone | 1105.7 | Phone Mart | | London | forestX 20 | 750.1 | MegaMart | | London | forestX 20 | 690.0 | AA | | London | forestX 20 | 730.0 | ABC Zone | | San Francisco | forestX 20 | 890.4 | Prescos | | San Francisco | forestX 20 | 900.1 | XZY Force | | San Francisco | forestX 20 | 1050.75 | Phone Mart |

出力:

詳細はこちらをご覧ください。

---

行のサイズ

対応可能な処理: バッチ

JVM内の単一行のサイズを推定します 変換カテゴリー: その他

詳細はこちらをご覧ください。

---

行を選択

対応可能な処理: バッチ、ストリーミング

入力データセットから一連の行を選択します 変換カテゴリー: その他

詳細はこちらをご覧ください。

Semi join

対応している処理方式: バッチ処理

Semi join は左と右のデータセットの入力を結合します。これにより、結合条件に一致しないすべての行が削除されます。 変換カテゴリー: 結合

例

引数の値:

• 左側で選択する行の条件:
  allColumns(
  
  )
• 結合条件:
  equals(
   left: tail_number,
   right: tail_number,
  )
• 左側のデータセット: ri.foundry.main.dataset.left
• 右側のデータセット: ri.foundry.main.dataset.right 入力: ri.foundry.main.dataset.leftri.foundry.main.dataset.right出力: | tail_number | airline | miles | factor | | ----- | ----- | ----- | ----- | | XB-123 | foundry air | 124 | 2 | | MT-222 | new airline | 1123 | 5 | | XB-123 | foundry airline | 335 | 5 | | MT-222 | new air | 565 | 4 | | KK-452 | new air | 222 | 1 | | XB-123 | foundry airline | 1134 | 2 |

詳細はこちらをご覧ください。

---

Sort

対応している処理方式: バッチ処理

入力データセットを列を選択するか、列に関数を適用することで変換します。 変換カテゴリー: その他

例

引数の値:

• データセット: ri.foundry.main.dataset.a
• ソート仕様: [(b, DESCENDING)] 入力: | a | b | | ----- | ----- | | 1 | 2 | | 3 | 4 | | 5 | 6 |

出力:

詳細はこちらをご覧ください。

---

テキストブロック

対応している処理方式: バッチ処理, ストリーミング

変換の間にテキストの説明を挿入します。これにより、入力データは何も変換されません。 変換カテゴリー: その他

詳細はこちらをご覧ください。

---

時間制限付き重複行の削除

対応している処理方式: ストリーミング

指定した行のサブセットの入力から重複行を削除します、見られた行は設定されたイベント時間後に期限切れになります。設定されたイベント時間よりも大きな時間が経過した行は常に削除されます。指定したキーでパーティションを分けます。各重複行の削除は、異なるキー行の値ごとに別々に計算されます。 変換カテゴリー: その他

詳細はこちらをご覧ください。

---

時間制限付きイベント時間ソート

対応している処理方式: ストリーミング

キーによる昇順のイベント時間の順で行を発行し、許容遅延時間まで遅れて到着するレコードを許可します。許容遅延時間プラス一定のバッファ間隔を超えて到着するレコードは削除されます。 変換カテゴリー: その他

詳細はこちらをご覧ください。

---

トップ行

対応している処理方式: バッチ処理

各ソートされたパーティションの上位行を選択します 変換カテゴリー: 集計

例

引数の値:

• データセット: ri.foundry.main.dataset.a
• 列によるパーティション: {airline}
• ソート仕様: [(airport, DESCENDING), (miles, ASCENDING)]
• 行の数: null 入力: | airline | airport | miles | | ----- | ----- | ----- | | foundry airways | JFK | 1002345 | | foundry airways | LHR | 2221324 | | new air | SFO | 21356673 | | new air | JFK | 12323456 | | foundry airways | LHR | 12542352 | | new air | JFK | 12232355 |

出力:

詳細はこちらをご覧ください。

---

名前による統一

対応している処理方式: バッチ処理, ストリーミング

一致する列名に基づいて一連のデータセットを統一します 変換カテゴリー: その他

例

引数の値:

• 統一するデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b] 入力: ri.foundry.main.dataset.ari.foundry.main.dataset.b出力: | recently_serviced | tail_number | airline_code | | ----- | ----- | ----- | | true | KK-150 | KK | | false | XB-120 | XB | | true | MT-190 | MT | | true | AA-200 | AA | | true | BN-435 | BN | | true | BN-111 | BN |

詳細はこちらをご覧ください。

---

Unpivot

対応している処理方式: バッチ処理, ストリーミング

ピボットの反対の操作を実行します... 変換カテゴリー: その他

型変数の範囲:
T は AnyType を受け入れます

例

引数の値:

• Unpivot する列: [new_york_miles, london_miles]
• データセット: ri.foundry.main.dataset.a
• 出力の unpivoted 列名: city
• Unpivoted 値の出力列名: miles 入力: | airline | new_york_miles | london_miles | | ----- | ----- | ----- | | foundry airways | 1000 | 6000 | | new air | null | 8000 |

出力:

詳細はこちらをご覧ください。

---

名前によるワイドユニオン

対応している処理方式: バッチ処理, ストリーミング

列名のスーパーセットに基づいて一連のデータセットを統一し、列が欠落している場合は null を追加します 変換カテゴリー: その他

例

引数の値:

• ユニオンするデータセット: [ri.foundry.main.dataset.a, ri.foundry.main.dataset.b] 入力: ri.foundry.main.dataset.ari.foundry.main.dataset.b出力: | recently_serviced | tail_number | airline_code | | ----- | ----- | ----- | | true | KK-150 | null | | false | XB-120 | null | | true | MT-190 | null | | true | AA-200 | AA | | true | BN-435 | BN | | true | BN-111 | BN |

詳細はここを参照してください。

---

Window

バッチで対応

指定した集計を、一連の行にグループ化された入力データセットに実行します。 変換カテゴリー: 集計、人気

詳細はここを参照してください。

---