注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
データ接続と統合
Foundry は、一般的な抽出・変換・読み込み（ETL）や抽出・読み込み・変換（ELT）ソリューションの範囲を大きく超える、柔軟に設定可能なデータ接続および統合ツールを提供します。Foundry は、データチームの能力を飛躍的に高める豊富な機能を通じて、データ統合のコストを長期的に削減するように設計されています。汎用的なクラウドサービスは基本的なパイプラインや実験のためのストレージとコンピューティングを提供しますが、重要な業務で使用するデータセットを管理、提供、検証するには、さらに多くの機能層が必要です。Foundry は、世界で最も複雑な環境のデータ統合基盤として機能するように設計されています。
データを接続する
その出発点となるのが、構造化、非構造化、半構造化といったあらゆる種類のソースシステムに接続し、バッチ、マイクロバッチ、ストリーミングなどの主要なデータ転送方式すべてに対応する、拡張可能なデータ接続フレームワークです。この機能は、プラットフォームのデータ変換およびデータ管理機能と統合されています。これらの機能には、データバージョンの完全なリネージ、データ抽出を共同で管理するためのきめ細かなセキュリティ、データ同期設定のブランチ分岐が含まれます。
データ変換
データ変換のために、Foundry は、マルチモーダルコンピューティングを活用して出力データセットを生成する、拡張可能でスケーラブルなデータ用ビルドシステムを提供します。Foundry のコンピューティング方式に依存しない「ビルド」フレームワークは、完全に統合されたセキュリティとデータリネージを提供し、サードパーティーのコンピューティングランタイムを組み合わせて使用できます。また、Foundry には、データ変換の開発、変更管理、データ品質、パイプラインのスケジューリング、メタデータのイントロスペクションのための統合された機能群が含まれます。これらが連携して、データエンジニアのための「管制センター」として機能します。
パイプライン管理
Foundry のパイプライン管理機能は、変更管理、データ品質、データ読み込みの機能を組み合わせたものです。
Pipeline Builder アプリケーションは、堅牢性とセキュリティを確保しながら、データパイプラインを迅速かつ柔軟に、スケーラブルな形で提供できます。Pipeline Builder について詳しくはこちら。
データエンジニアは、本番パイプラインに対して厳格なリリースプロセスを定義できます。これには、要件に完全に準拠したデータのみが本番環境にデプロイされることを保証するヘルスチェックも含まれます。問題が見つかった場合、プラットフォームは検出された不一致に関する診断情報を提供します。
診断情報は、Foundry に統合された分析およびモデリングツールで利用可能なほか、REST API やその他のインターフェースを介して出力にアクセスするあらゆるサードパーティーツールでも利用可能です。