注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
仮想テーブル は、Foundry データセット にデータを格納することなく、対応するデータプラットフォームのテーブルをクエリすることができます。
仮想テーブルは、Foundryの外部のソースシステムにあるテーブルを指すポインタとして機能します。仮想テーブルは、基礎となるソースシステムとストレージ形式を抽象化し、異なるソースシステムからのデータをシームレスに組み合わせるワークフローを構築できるようにします。仮想テーブルは、データが一か所に集約される必要がない柔軟なアーキテクチャの一部として、Foundryに格納されているデータセットと組み合わせて使用することができます。
仮想テーブルは以下によって定義されます。
Foundry内の他のリソースと同様に、仮想テーブルはFoundryのセキュリティと権限モデルによって管理され、様々なFoundryアプリケーションで開いたり使用したりすることができます。
以下のソースが仮想テーブルをサポートしています。接続の設定方法やサポートされている機能については、ソースドキュメントを参照してください。
ソース | ステータス | サポートされているフォーマット | 手動登録 | 自動登録 |
---|---|---|---|---|
Amazon S3 | 🟢 一般利用可能 | Delta, Parquet | ✔️ | |
Azure Data Lake Storage Gen2 (Azure Blob Storage) | 🟢 一般利用可能 | Delta, Parquet | ✔️ | |
BigQuery | 🟢 一般利用可能 | Table, View, Materialized View | ✔️ | ✔️ |
Snowflake | 🟢 一般利用可能 | Table, View, Materialized View | ✔️ | ✔️ |
仮想テーブルは、以下のアプリケーションとワークフローで入力としてサポートされています。
対応しているアプリケーション | 対応しているワークフロー | 対応していない |
---|---|---|
Data Connection | ソースの設定 仮想テーブルの登録 | エージェントベースの接続 |
Contour | Contourで分析 | データセットとして保存 |
オントロジー | Pipeline Builderを使ったオブジェクト作成 | Ontology Managerを使ったオブジェクト作成 |
データフロー | Foundryのデータフローを表示 | |
Pipeline Builder | パイプラインへの入力 オブジェクトとデータセットの出力 スナップショットビルド インクリメンタルビルド(追加のみ) | ストリーミングビルド |
コードリポジトリ | [近日公開:Python変換] | Java変換 SQL変換 |
ソースタイプによっては、これらの機能のすべてがサポートされていない場合があります。詳細については、ソース固有のドキュメントを参照してください。
一般的に、仮想テーブルは、以下のいずれかの方法で、ほとんどの一般的なFoundryワークフローをバックアップするために使用できます。
仮想テーブルに対応しているソースは、データ接続 アプリケーションで設定されます。使用するソースを選択し、ソース設定の 仮想テーブル タブに移動します。ソースドキュメント と、仮想テーブルを使用するためにそこに記載されている要件に従ってください。
すべてのソースが 手動登録 をサポートしています。手動登録では、ソースシステムから個々のテーブルをFoundryに登録することができます。また、一部のソースでは、 自動登録 もサポートされています。自動登録では、定期的に、設定された資格情報にアクセス可能なソース内のすべてのテーブルを指定されたプロジェクトに登録します。
対応しているソースの場合、メディアセットの同期の出力を設定する際に、ストレージポリシーを指定することで、仮想 メディアセット も設定できます。
手動登録 を使用する場合、仮想テーブルを作成 を選択し、ソースシステムで利用可能なテーブルを閲覧し、登録する個々のテーブルを選択できます。別の場所を選択しない限り、これらはソースの接続設定で設定されたFoundryの場所に登録されます。
自動登録 を有効にすると、仮想テーブルが自動的に作成される新しいFoundry プロジェクト を作成します。このプロジェクト内のフォルダー階層は、ソースシステムの構造を反映し、ソースに新しいテーブルが作成されるたびに定期的に更新されます。ソースのテーブルが削除された場合、関連する仮想テーブルはプロジェクト内で自動的に削除されませんが、アクセスしてもデータは読み込まれません。
自動登録を有効にするには、Foundryでプロジェクト作成権限が必要です。
プロジェクトはFoundryによって管理され、ユーザーは手動でリソースを作成したり更新したりすることはできません。このプロジェクトで登録された仮想テーブルは、ワークフロー開発に使用するために他のプロジェクトにインポートすることができます。
自動登録を有効にすると、プロジェクトへのアクセスと権限を設定できます。これらは、後でプロジェクトオーナーがアクセスサイドバーを使用して管理できます。
仮想テーブルを使用するか、Foundryのデータセットに同期するかは、アーキテクチャの目標とサポート対象のワークフローによって異なります。ワークフローごとに適切な統合パターンを検討することをお勧めします。両方のアプローチを組み合わせて互いに補完することができます。
以下は、仮想テーブルとデータセットへのデータ同期の利点、欠点、制限について考慮すべき事項です。
仮想テーブルにはいくつかの利点があります。
仮想テーブルはすべての状況で最適な選択肢ではありません。考慮すべき事項は以下のとおりです。
仮想テーブルの制限には以下のようなものがあります。
仮想テーブル上で直接実行されるクエリの場合、計算はFoundryとソースシステムの間で分割される場合があります。特定の動作は、クエリおよびソースシステムがサポートするプッシュダウン計算の程度によって異なります。詳細については、ソース固有のドキュメントを参照してください。