注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

data integration overview

データ統合

Foundry は、典型的な抽出変換ロード(ETL)や抽出ロード変換(ELT)ソリューションをはるかに超える、高度に設定可能なデータ統合ツールセットを提供します。Foundry は、データチームの効果を倍増させる豊富な機能セットを通じて、データ統合のコストを時間とともに削減するように設計されています。基本的なパイプラインと実験のためのストレージと計算を提供する一般的なクラウドサービスがありますが、重要なオペレーションのデータセットを管理、配信、および検証するためには、さらに多くの機能レイヤーが必要です。Foundry は、世界で最も複雑な環境のデータ統合のバックボーンとして機能するように設計されています。

データの接続

これは、すべてのタイプのソースシステム(構造化、非構造化、半構造化)とすべての主要なデータ転送アプローチ(バッチ、マイクロバッチ、ストリーミングなど)を統合する拡張可能なデータ接続フレームワークから始まります。この機能は、プラットフォームのデータ変換とデータ管理機能と統合されており、データバージョンの完全なデータフロー、データ抽出の共同管理のためのグラニュラーセキュリティ、およびデータ同期設定のブランチングが含まれます。

Foundry でのデータ接続についての詳細を学ぶ。

データ変換

データ変換については、Foundry は、マルチモーダル計算を活用して出力データセットを生成する拡張可能でスケーラブルなデータビルドシステムを提供します。Foundry の計算に中立な「ビルド」フレームワークは、完全に統合されたセキュリティとデータフローを提供し、サードパーティの計算ランタイムの組み合わせを可能にします。また、Foundry には、データ変換の作成、変更管理、データ品質、パイプラインスケジューリング、メタデータ内省機能を統合したスイートが含まれており、データエンジニアのための「ミッションコントロール」を提供します。

Foundry を使ったデータ変換の詳細を学ぶ。

パイプライン管理

Foundry のパイプライン管理機能は、変更管理、データ品質、およびデータロード機能を組み合わせたものです。

Pipeline Builder アプリケーションは、堅牢性とセキュリティを提供しながら、データパイプラインの迅速で柔軟でスケーラブルなデリバリーを可能にします。Pipeline Builder についての詳細を学ぶ。

データエンジニアは、本番パイプラインの厳格なリリースプロセスを定義し、完全に準拠したデータのみが本番環境にデプロイされることを保証するヘルスチェックを含めることができます。問題が見つかった場合、プラットフォームは検出された不一致に関する診断情報を提供します。

診断情報は、Foundry の統合された分析およびモデリングツールだけでなく、REST API やその他のインターフェースを介して出力にアクセスするサードパーティツールで利用できます。

Foundry でパイプラインの維持と管理についての詳細を学ぶ。