Amazon S3

Foundry を AWS S3 に接続して、S3 と Foundry 間でデータを読み取りおよび同期します。

サポートされている機能

設定

1. Data Connection アプリケーションを開き、画面右上の + New Source を選択します。
2. 利用可能なコネクタタイプから S3 を選択します。
3. インターネット経由で direct connection を使用するか、中間エージェントを介して接続 するかを選択します。
4. 以下のセクションの情報に従って、コネクタの設定を続行するための追加の設定プロンプトに従います。

Foundry での コネクタの設定 についてさらに詳しく学びます。

接続の詳細

S3 の読み取りおよび同期に必要な権限

S3 バケットのインタラクティブな探索には、以下の AWS 権限が必要です。

Copied!
1
2
3
4
5
{
    "Action": ["s3:ListBucket"],  // "s3:ListBucket"というアクションを指定します。これは、バケット内のオブジェクトのリストを取得するためのアクションです。
    "Resource": ["arn:aws:s3:::path/to/bucket"],  // このポリシーが適用されるリソースを指定します。ここでは特定のS3バケットを指定しています。
    "Effect": "Allow",  // このポリシーにより定義されたアクション（この場合はバケットのリスト取得）を許可します。
}

以下のAWS権限は、バッチ同期、仮想テーブル、およびS3からのメディア同期に必要です：

Copied!
1
2
3
4
5
6
7
8
{
    // "Action": アクションの配列（この場合はS3オブジェクトを取得するアクション）
    "Action": ["s3:GetObject"],
    // "Resource": リソースの配列（この場合は特定のS3バケットへのパス）
    "Resource": ["arn:aws:s3:::path/to/bucket/*"],
    // "Effect": ポリシーの効果（この場合は許可）
    "Effect": "Allow",
}

Amazon S3 のバケットポリシーの設定方法の詳細については、公式の AWS ドキュメンテーションのポリシーと権限 ↗をご覧ください。

S3 プロキシ設定 (エージェントベースの接続)

データ接続エージェントを使用して S3 に接続する場合、プロキシ設定は以下の2つの方法で定義できます:

• ソース設定: 下記の表に示すように、ソース設定内で直接各プロキシ設定を定義します。
• エージェントのシステムプロパティ: フォールバックとして、エージェントのシステムプロパティ内でプロキシ設定を設定することができます。これを行うには、エージェントの詳細設定設定に適切な JVM 引数を含めます (例: -Dhttps.proxyHost=example.proxy.com).

STS ロール設定

STS ロール設定を使用すると、S3 から読み取る際に AWS Security Token Service ↗ を使用してロールを引き受けることができます。

クラウドアイデンティ設定

クラウドアイデンティ認証を使用すると、Foundry はユーザーの AWS インスタンス内のリソースにアクセスすることができます。クラウドアイデンティは、Control Panelの エンロールメント レベルで設定および管理されます。クラウドアイデンティを設定する方法を学びましょう。

クラウドアイデンティ認証を使用する場合、ロール ARN は資格情報セクションに表示されます。Cloud identity 資格情報オプションを選択した後、以下の設定も行う必要があります:

1. ターゲットの Amazon AWS アカウント内で Identity and Access Management (IAM) ロールを設定します。
2. ユーザーが接続を希望する S3 バケットに IAM ロールへのアクセスを許可します。通常、バケットポリシー ↗ を使用してこれを行うことができます。
3. S3 ソース設定の詳細に、IAM ロールを Security Token Service (STS) ロール ↗ 設定の下に追加します。Foundry のクラウドアイデンティ IAM ロールは、S3 にアクセスする際に AWS アカウント IAM ロール ↗ を引き受けるように試みます。
4. クラウドアイデンティ IAM ロールがターゲットの AWS アカウント IAM ロールを引き受けることを許可するための 対応する信頼ポリシーを設定します ↗。

仮想テーブル

このセクションでは、S3 ソースから 仮想テーブル を使用する際の追加詳細を提供します。このセクションは、Foundry データセットへの同期時には適用されません。

仮想テーブル を登録する際には、以下のソース設定要件を覚えておいてください:

• ソースを 直接接続 として設定する必要があります。仮想テーブルは 中間エージェント の使用をサポートしていません。
• ネットワーク接続性 セクションで説明されているように、双方向接続性と許可リストの設定が確立されていることを確認します。
• 仮想テーブルをコードリポジトリで使用する場合は、追加のソース設定の詳細については 仮想テーブルのドキュメンテーション を参照してください。
• バケットが . を含む場合は、パススタイルアクセスを有効にし、適切な出力ポリシーを設定する必要があります。

詳細については、上記の 接続詳細 セクションを参照してください。

Delta

仮想テーブルでサポートされているパイプラインのインクリメンタルサポートを有効にするには、ソースの Delta テーブルで Change Data Feed ↗ を有効にすることを確認してください。Pythonトランスフォーム の current および added 読み取りモードがサポートされています。_change_type, _commit_version, _commit_timestamp 列が Pythonトランスフォームで利用可能になります。

Iceberg

Apache Iceberg テーブルをバックにした仮想テーブルをロードするには、Iceberg カタログが必要です。Iceberg カタログについて詳しく知りたい場合は、Apache Iceberg ドキュメンテーション ↗ をご覧ください。ソースで登録されたすべての Iceberg テーブルは同じ Iceberg カタログを使用する必要があります。

デフォルトでは、テーブルは S3 の Iceberg メタデータファイルを使用して作成されます。テーブルを登録する際に、これらのメタデータファイルの場所を示す warehousePath を提供する必要があります。

AWS Glue ↗ を S3 に格納されているテーブルの Iceberg カタログとして使用することができます。この統合について詳しく知りたい場合は、AWS Glue ドキュメンテーション ↗ をご覧ください。ソースに設定された資格情報は、ユーザーの AWS Glue Data Catalog にアクセスする必要があります。AWS Glue はソース上の 接続詳細 タブで設定できます。このソースで登録されたすべての Iceberg テーブルは自動的に AWS Glue をカタログとして使用します。テーブルは database_name.table_name の命名パターンを使用して登録する必要があります。

Unity Catalog ↗ を Databricks の Delta Universal Format (UniForm) を使用している場合の Iceberg カタログとして使用することができます。この統合について詳しく知りたい場合は、Databricks ドキュメンテーション ↗ をご覧ください。AWS Glue と同様に、カタログはソース上の 接続詳細 タブで設定できます。Unity Catalog に接続するためにエンドポイントと パーソナルアクセストークン を提供する必要があります。テーブルは catalog_name.schema_name.table_name の命名パターンを使用して登録する必要があります。

インクリメンタルサポートは Iceberg の Incremental Reads ↗ に依存しており、現在は追加のみです。Pythonトランスフォーム の current および added 読み取りモードがサポートされています。

Parquet

Parquet を使用した仮想テーブルは、スキーマ推論に依存します。最大で 100 のファイルがスキーマを決定するために使用されます。

S3 へのデータエクスポート

S3 へのエクスポートを行うには、まず、ユーザーの S3 コネクターの エクスポートを有効にします。次に、新しいエクスポートを作成します。

S3 へのエクスポートに必要な許可

データを S3 にエクスポートするためには、次の AWS 権限が必要です:

Copied!
1
2
3
4
5
{
    "Action": ["s3:PutObject"], // アクション: S3にオブジェクトを配置する
    "Resource": ["arn:aws:s3:::path/to/bucket/*"], // リソース: S3バケットのパス
    "Effect": "Allow", // 効果: 許可する
}

Amazon S3 のバケットポリシーの設定方法の詳細については、公式の AWS ドキュメンテーションの Policies and Permissions in Amazon S3 ↗を参照してください。

エクスポート設定オプション