Foundry コネクタ

トランスフォーム API から Foundry とやり取りするためのコネクタ。

コネクタは、インタラクティブに TransformInput オブジェクトと TransformOutput オブジェクトを構築したり、Transform を実行したりするために使用できます。

FoundryConnector

class transforms.foundry.connectors.FoundryConnector(service_config, auth_header, filesystem_id=None, fallback_branches=None, resolver=None)

• Foundry サービスにアクセスするためのエントリポイント。
• Foundry オブジェクトは、データセットを操作するための API を提供して、Foundry サービスとのやり取りを管理します。

パラメーター

• service_config (dict)
  • Java クラス com.palantir.remoting.api.config.service.ServicesConfigBlock に記載されている JSON 仕様に準拠した設定ディクショナリ。
• auth_header (str)
  • Foundry サービスに接続する際に使用する認証文字列。
• filesystem_id (str, optional)
  • 使用するバックエンドファイルシステム。
• fallback_branches (List[str], optional)
  • フォールバックブランチ。
• resolver (Callable[[str], str], optional)
  • データセットエイリアスを rid に解決するための関数。デフォルトでは、エイリアスをプロジェクトパスとして解決します。

---

input(alias=None, rid=None, branch=None, end_txrid=None, start_txrid=None, schema_version=None)

• 与えられたパラメーターから TransformInput を構築します。
• 構築される TransformInput の リソース識別子 は、rid パラメーターが渡されない限り、与えられた alias から解決されます。

パラメーター

• alias (str, optional)
  • データセットのエイリアス。
• rid (str, optional)
  • データセットのリソース識別子。
• branch (str, optional)
  • データセットを読み取るブランチ。設定されていない場合、Catalog に存在する fallbacks リストの最初のブランチが選択されます。
• end_txrid (str, optional)
  • ビューの終了トランザクション。設定されていない場合、指定されたブランチの最新のトランザクションにデフォルト設定されます。
• start_txrid (str, optional)
  • ビューの開始トランザクション。
• schema_version (str, optional)
  • 読み取り時に使用するスキーマバージョン。設定されていない場合、指定されたブランチの最新のスキーマバージョンにデフォルト設定されます。

戻り値

• 要求されたデータセットを表す入力オブジェクト。

戻り値の型

• transforms.api.TransformInput

例外

• ValueError
  • alias または rid（どちらか一方）が指定されていない場合。
• ValueError
  • ブランチが指定されていない場合、Catalog でフォールバックブランチが見つからない場合。

---

output(alias=None, rid=None, branch=None, txrid=None, filesystem_id=None)

• 与えられたエイリアスまたは rid から TransformOutput を構築します。
• 構築される transforms.api.TransformOutput の リソース識別子 は、rid パラメーターが渡されない限り、与えられた alias から解決されます。

パラメーター

• alias (str, optional)
  • データセットのエイリアス。
• rid (str, optional)
  • データセットのリソース識別子。
• branch (str, optional)
  • データセットを書き込むブランチ。設定されていない場合、fallbacks リストの最初のブランチが選択されます。
• txrid (str, optional)
  • データを書き込むべきトランザクション。
• filesystem_id (str, optional)
  • データセットが既に存在しない場合、データセットを作成するファイルシステム。

戻り値

• 要求されたデータセットを表す出力オブジェクト。

戻り値の型

• transforms.api.TransformOutput

例外

• ValueError
  • alias または rid（どちらか一方）が指定されていない場合。

---

run(transform)

• 最新の入力と出力を使用して、指定された Transform を実行します。

パラメーター

• transform (transforms.api.Transform)
  • 実行するトランスフォーム。

---

auth_header

• str
  • Foundry に連絡するために使用される認証ヘッダー。

---

fallback_branches

• List[str]
  • データセットを取得するために使用されるフォールバックブランチ。

---

spark_session

• pyspark.sql.SparkSession
  • FoundrySparkManager によって作成された SparkSession を理解します。