アプリケーションリファレンス

このページでは、データ統合ワークフローを行う際に遭遇するかもしれない Foundry のアプリケーションについてのリファレンスを提供します。

Pipeline Builder

Pipeline Builder は、Foundry の主要なデータ統合アプリケーションです。Pipeline Builder を使用すると、データソースから最終出力までのエンドツーエンドのパイプラインワークフローを作成できます。Pipeline Builder のユーザーは、ワークフローを記述し、データをトランスフォームし、スキーマを編集し、一つの使いやすいアプリケーションで出力をビルドすることができます。

Pipeline Builder は直感的なポイントアンドクリック型のインターフェースと強力なバックエンドモデルを特徴とし、技術的なユーザーとそれほど技術的でないユーザーが、コード重視のアプリケーションよりも高速にパイプラインを定義し、デプロイできるようにします。スリム化されたビルダーインターフェースでは、ユーザーがスキーマチェックと並行してデータトランスフォームを適用できるため、ビルド時の計算とチェックに通常かかる時間と費用を節約できます。完全なバージョン管理と拡張性といった追加機能により、Pipeline Builder は安全な共同作業に理想的なアプリケーションとなっています。

Code Repositories

Code Repositories は、コードを作成するための Foundry の主要なインターフェースで、通常は Python、Java、SQL でデータパイプラインを作成するために使用されます。Code Repositories は git サーバー上に統合開発環境（IDE）を提供し、パイプラインロジックの共同作業とガバナンス、およびデータ変換ロジックの記述、テスト、プレビューをネイティブでサポートします。Code Repositories はまた、機械学習モデル やオントロジーの Functions の作成にも使用できます。

データサイエンスやコードベースの分析に興味がある場合は、Code Workbook がユーザーのユースケースにより適しているかもしれません。Code Workbook、Code Workspaces、および Code Repositories の違いについて詳しく学ぶ。

Data Lineage

Data Lineage は、データが Foundry を通じてどのように流れるかを示すアプリケーションです。ユーザーはこれを使用して、Foundry の任意のリソースが他のリソースとどのように接続しているかを探索したり、個々のプロジェクトやユースケースの境界を越えてこれを行ったりできます。これには、データソース、データセット、分析、オントロジーオブジェクトとリンクタイプ、ユーザー向けアプリケーションのサポートが含まれます。接続を探索するだけでなく、Data Lineage を使用してデータのプレビューを表示し、任意のデータの導出に使用されたロジックを確認し、スケジュールされたパイプラインを管理することもできます。

Data Connection

Data Connection は、データを Foundry に同期させ、ソース資格情報を含む関連リソースを管理するために使用するアプリケーションです。初期セットアップ後、Data Connection を使用すると、データソースを探索し、ユースケース開発のための新しいデータを同期することが簡単になり、ソースシステムと大規模なユースケースを管理するために必要なガバナンスコントロールの全範囲を満たすことができます。

Dataset Preview

Dataset Preview は、データセット を表示し、理解するために使用するアプリケーションです。他の任意のアプリケーションからデータセットを開くと、データセットの内容と一連の文脈情報が表示されます。これには、データセットの所有情報、データセットが時間とともにどのように変化したか、適用可能なヘルスチェック、その他の詳細が含まれます。

Data Health

Data Health は、すべてのデータパイプラインにわたる ヘルスチェック を管理するために使用されます。Data Health を使用すると、パイプラインの管理者は、パイプラインのパフォーマンスと信頼性を迅速に理解するとともに、ヘルスチェックや チェックグループ のアラートを購読して、広範なデータパイプライン保守ワークフローを可能にすることができます。

Builds

Builds アプリケーション（以前は Job Tracker と呼ばれていました）を使用すると、Foundry 全体で発生するすべての ビルド を表示し、各ビルドの詳細を探索することができます。これには、実行進行中の情報、スケジューリング、過去の成功率と失敗率などの情報が含まれます。Builds アプリケーションを使用して、基礎となる実行エンジンである Spark に関する詳細な情報にアクセスし、デバッグと最適化のワークフローを可能にすることもできます。