データ接続と統合利用可能なコネクターNFS

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Network File System (NFS)

ベータ版

NFS コネクターは開発のベータ版段階にあり、お使いのエンロールメントでは利用できない場合があります。開発が活発に進められている間は、機能が変更される可能性があります。

Network File System (NFS) のエクスポートに接続し、フォルダーと Foundry データセット間でデータを同期します。このコネクターは NFS バージョン3および4.1に対応しています。

対応機能

機能ステータス
探索🟡 ベータ版
一括インポート🟡 ベータ版
インクリメンタル(差分連携)🟡 ベータ版
ファイルエクスポート🔴 利用不可

データモデル

このコネクターは、あらゆる種類のファイルを Foundry データセットに転送できます。ファイル形式は保持され、転送中も転送後もスキーマは適用されません。データにアクセスするには、出力データセットに必要なスキーマを適用するか、下流のトランスフォームを作成します。

パフォーマンスと制限事項

転送可能なファイルのサイズに制限はありません。ただし、ネットワークの問題により、大規模な転送が失敗することがあります。特に、実行に2日を超える時間がかかる直接クラウド同期は中断されます。ネットワークの問題を避けるため、ファイルサイズを小さくし、同期の実行ごとに取り込むファイル数を制限することを推奨します。同期は、頻繁に実行されるようにスケジュールできます。

セットアップ

  1. Data Connection アプリケーションを開き、画面右上の + 新規ソースを選択します。
  2. プロトコルソースセクションから NFS を選択します。
  3. 追加の設定プロンプトに従い、以下のセクションの情報を使用してコネクターのセットアップを続行します。

オンプレミスの NFS サーバーにアクセスするには、Agent プロキシ接続の使用を推奨します。代わりに、Secure Tunnels(現在はまだベータ版)を使用することもできます。

Foundry でのコネクターのセットアップについて、詳しくはこちらをご覧ください。

設定オプション

NFS コネクターでは、次の設定オプションを利用できます。

オプション必須かどうかデフォルト説明
Hostはいサーバーを指すドメイン名、またはサーバーの IP アドレスです。
Export pathはい接続先の NFS サーバーでエクスポートされているファイルシステムのパスです。例:/exports/data。
NFS versionはい使用する NFS プロトコルのバージョンです。バージョン固有のオプションについては、以下の NFSv4.1 の設定および NFSv3 の設定のセクションを参照してください。

NFS サーバーが対応している場合は、NFSv4.1 の使用を推奨します。NFSv4.1 は単一のポートで RPC over TLS と Kerberos に対応しているため、接続全体を保護できます。NFSv3 は処理を複数の RPC サービスに分散し、各サービスは個別に保護されるため、接続全体を保護することはできません。

NFSv4.1 の設定

オプション必須かどうかデフォルト説明
NFS portいいえ2049NFS サーバーが稼働しているポートです。
Enable RPC over TLSいいえfalseRPC-over-TLS(RFC 9289 ↗)を使用して、すべての通信を保護します。
Authenticationはい接続の認証に使用する RPC セキュリティフレーバーです。Kerberos または AUTH_SYS を使用します。詳細については、以下の認証セクションを参照してください。

RPC over TLS も Kerberos の krb5p 保護レベルも有効になっていない場合、ファイルの内容は暗号化されずにネットワーク経由で送信されます。これが安全なのは、ネットワーク経路全体を信頼できる場合のみです。

NFSv3 の設定

NFSv3 は処理を4個の RPC サービスに分散し、各サービスにはそれぞれのポートで接続でき、個別に保護されます。1個のサービスで TLS を有効にしても、ほかのサービスは暗号化されないままです。

オプション必須かどうかデフォルト説明
Access UIDはいNFS サーバーに提示する数値のユーザーIDです。
Access GIDはいNFS サーバーに提示する数値のグループIDです。唯一の補助グループとしても送信されます。
Portmapper portいいえ111portmapper(rpcbind)サービスの TCP ポートです。固定ポートが指定されていないサービスのポートを特定するために使用されます。portmapper の通信は暗号化されません。
NFS serviceはいすべてのファイルデータを転送する NFS プログラムです。
Mount serviceはいエクスポートのルートファイルハンドルを取得するために使用する MOUNT プログラムです。
Lock serviceはいNLM(ネットワークロックマネージャー)プログラムです。
Status serviceはいロックの回復通知に使用する NSM(ネットワークステータスモニター)プログラムです。

4個の NFSv3 サービスそれぞれで、次のオプションを利用できます。

オプション説明
Discover the port using the portmapper有効にすると、コネクターは接続時に固定ポートを使用する代わりに、portmapper にサービスのポートを問い合わせます。
PortNFS サーバー上でサービスがバインドされている固定ポートです。portmapper を通じてポートを特定しない場合にのみ使用されます。
Wrap this service's traffic in TLSNFS サーバーがこのサービスで RPC over TLS を受け入れる必要があります。

TLS を使用しない場合、NFSv3 はファイルの内容と AUTH_SYS の識別情報を暗号化せずにネットワーク経由で送信し、MOUNT サービスはルートファイルハンドルとエクスポートメタデータを暗号化せずに送信します。ネットワーク全体を信頼できることを確認するか、NFS サーバーが対応しているサービスで TLS を有効にするか、NFSv4.1 を使用してください。

認証

NFSv3 ソースは常に AUTH_SYS で認証します。NFSv4.1 ソースは Kerberos または AUTH_SYS のいずれかで認証できます。

AUTH_SYS

AUTH_SYS は、数値のユーザーID(アクセス UID)とグループID(アクセス GID)を NFS サーバーに提示します。サーバーはこの識別情報を検証しないため、アクセスはエクスポートの権限によってのみ制御されます。デフォルトの識別情報 0/0 でルートアクセスが許可されるのは、ルートアクセスを squash するように設定されていないエクスポートのみです。

オプション必須かどうか説明
Access UIDはいNFS サーバーに提示する数値のユーザーIDです。範囲は 0 から 4294967295 までです。
Access GIDはいNFS サーバーに提示する数値のグループIDです。範囲は 0 から 4294967295 までです。

Kerberos

Kerberos 認証は NFSv4.1 でのみ利用可能で、パスワードを使用してプリンシパルを認証します。

オプション必須かどうかデフォルト説明
RealmはいKerberos レルムです。例:EXAMPLE.COM。レルムは慣例として大文字で記述します。
KDC hostはいKerberos キー配布センター (KDC) のホスト名または IP アドレスです。
KDC portいいえ88KDC の TCP ポートです。
Principalはい認証に使用する Kerberos プリンシパルです。プリンシパルはレルムと組み合わせて認証に使用されます。例:nfsclient@EXAMPLE.COM。
Kerberos passwordはいプリンシパルのパスワードです。
Protection levelはいRPCSEC_GSS の保護レベルです。詳細については、以下のテーブルを参照してください。

次の保護レベルを利用できます。

保護レベル説明
Authentication (krb5)接続の認証のみを行います。リクエストとファイルの内容は、完全性の保護も暗号化も行われません。
Integrity (krb5i)接続を認証し、各リクエストの完全性を保護しますが、ファイルの内容は暗号化されずに送信されます。
Encryption (krb5p)接続を認証し、RPC ペイロードを暗号化するため、転送中のファイルの内容が保護されます。

RPC over TLS が有効な場合は、Encryption (krb5p) のみに対応しています。

TLS

TLS を使用するには、RFC 9289 ↗ に記載されている RPC over TLS に NFS サーバーが対応している必要があります。NFS サーバーが RPC over TLS に対応していないソースで TLS を有効にすると、接続は失敗します。

TLS が有効な場合、コネクターは NFS サーバーの証明書を検証し、証明書のサブジェクト代替名が設定されたホストと一致することを確認します。NFS サーバーが自己署名証明書またはプライベート認証局が発行した証明書を使用している場合は、ソースにサーバー証明書を追加します。NFS サーバーが相互 TLS (mTLS) を必要とする場合は、ソースにクライアント証明書を追加します。

ネットワーク

接続を許可リストに登録するには、ネットワークエグレスポリシーを追加する必要があります。必要なエグレスポリシーは NFS のバージョンによって異なります。

  • NFSv4.1: コネクターは、ホストに NFS ポート(デフォルトは2049)で接続できる必要があります。Kerberos 認証を使用する場合は、KDC ホストにも KDC ポート(デフォルトは88)で接続できる必要があります。
  • NFSv3: コネクターは、ホストにポートマッパーポート(デフォルトは111)および各 NFSv3 サービスのポートで接続できる必要があります。ポートマッパーを通じてポートを特定するサービスには、接続時に NFS サーバーがポートを割り当てるため、エグレスポリシーを事前に決定することはできません。NFS サーバーとソース設定で、各サービスに固定ポートを割り当てることを推奨します。

Data Connection は、ソース設定に基づいて必要なエグレスポリシーを提案します。

NFS からデータを同期する

NFS コネクターは、エクスポートから Foundry データセットにファイルを同期します。同期のたびに、選択したサブフォルダーとその配下にネストされたすべてのフォルダーを走査します。ファイルベースの取り込みモードについて、詳しくはこちらをご覧ください。

同期設定オプション

オプション必須かどうかデフォルト説明
Subfolderいいえ同期する、エクスポートルート配下のディレクトリです。エクスポート全体を同期する場合は空欄にします。
Include patternsいいえ各ファイルのエクスポートルートからの相対パスと照合する glob パターンです。例:*.csv。ファイルは、これらのパターンのいずれかに一致する場合にのみ同期されます。すべてのファイルを含める場合は空欄にします。
Exclude patternsいいえ各ファイルのエクスポートルートからの相対パスと照合する glob パターンです。例:archive/**。これらのパターンのいずれかに一致するファイルは、包含パターンにも一致する場合でもスキップされます。
Follow symbolic linksいいえfalse無効にすると、シンボリックリンクはすべてスキップされます。有効にすると、リンクはエクスポートルートを基準に解決され、エクスポートの外部を指すリンク先はスキップされます。
Maximum depthいいえサブフォルダーから何階層下のディレクトリまでたどるかを指定します。値が 0 の場合は、サブフォルダー自体にあるファイルのみを同期します。階層数を制限せずにたどる場合は空欄にします。
Minimum file sizeいいえ指定したバイト数以上のファイルのみを同期します。
Maximum file sizeいいえ指定したバイト数以下のファイルのみを同期します。
Modified afterいいえ指定した時刻より後に変更されたファイルのみを同期します。このフィルターは、インクリメンタル同期とは無関係に、毎回の実行時に適用されます。
Modified beforeいいえ指定した時刻より前に変更されたファイルのみを同期します。
Order byいいえTraversal orderMaximum files per run を適用する前に、絞り込みを通過したファイルを並べ替える順序です。選択肢は Traversal order、Path、Size、Last modified です。
DirectionいいえAscendingOrder by の並べ替えの方向です。
Maximum files per runいいえ絞り込みと並べ替えの後、指定した数を上限としてファイルを保持します。Order by と組み合わせることで、「最も古い100件のファイル」や「最も大きい10件のファイル」などの条件を指定できます。

インクリメンタル(差分)同期

インクリメンタル同期が有効な場合、各実行では同期した最新ファイルの更新日時が記録され、次回の実行ではその日時より後に更新されたファイルのみが同期されます。初回の実行では、同期設定に一致するすべてのファイルが同期されます。更新日時は NFS サーバーから報告されるため、インクリメンタル同期ではコネクターと NFS サーバーの時計が一致している必要はありません。

インクリメンタル同期で実行ごとの最大ファイル数を使用する場合、ファイルは常に古い順に同期され、各実行は前回の実行が停止したところから再開されます。更新日時が同じファイルの途中で上限に達した場合も含め、スキップされるファイルはありません。上限を設定したインクリメンタル同期では、並べ替え基準を空にするか、最終更新日時で昇順に並べ替える必要があります。それ以外の並べ替え順では同期が失敗します。

インクリメンタル同期では、APPEND または UPDATE トランザクションタイプを使用する必要があります。デフォルトの SNAPSHOT トランザクションタイプでは、実行ごとに、その実行で見つかったファイルのみでデータセットが置き換えられます。

メディアセット

NFS コネクターはメディアセットの同期に対応していません。NFS から同期されたファイルは、通常のデータセットに格納されます。