アプリケーションリファレンス

このページでは、データ統合ワークフローを実行する際に遭遇するかもしれない Foundry アプリケーションのリファレンスを提供します。

Pipeline Builder

Pipeline Builder は Foundry の主要なデータ統合アプリケーションです。Pipeline Builder を使用して、データソースから最終的な出力までのエンドツーエンドのパイプラインワークフローを作成できます。Pipeline Builder のユーザーは、ワークフローを記述し、データを変換し、スキーマを編集し、出力をビルドすることができます。

Pipeline Builder は、直感的なポイントアンドクリックのインターフェースと堅牢なバックエンドモデルを備えており、技術的および技術的でないユーザーがコードヘビーなアプリケーションよりも迅速にパイプラインを定義および展開できるようになっています。効率的なビルダーインターフェースを使用することで、ユーザーは、スキーマチェックと並行してデータ変換を適用でき、ビルド時の計算とチェックにかかる時間とコストを節約できます。完全なバージョン管理や拡張性などの追加機能により、Pipeline Builder は安全な共同作業に最適なアプリケーションです。

コードリポジトリ

コードリポジトリ は、Foundry の主要なコード作成インターフェースであり、Python、Java、および SQL でデータパイプラインを作成するために最も一般的に使用されます。コードリポジトリは、git サーバー上に統合開発環境（IDE）を提供し、パイプラインロジックの共同作業とガバナンス、およびデータ変換ロジックの作成、テスト、およびプレビューのネイティブサポートが可能です。コードリポジトリは、機械学習モデルやオントロジー 関数の作成にも使用できます。

データサイエンスとコードベースの解析に興味がある場合、Code Workbook がユーザーのユースケースにより適しているかもしれません。Code Workbook とコードリポジトリの違いについて詳しくはこちら。

データフロー

データフロー は、Foundry を通じてデータが流れる方法を示すアプリケーションです。ユーザーは、Foundry の任意のリソースが、個々のプロジェクトまたはユースケースの境界を超えて他のリソースにどのように接続されているかを調べることができます。これには、データソース、データセット、分析、オントロジーオブジェクトとリンクタイプ、ユーザー向けアプリケーションのサポートが含まれます。データフローを使用して、データのプレビューを表示し、任意のデータを導出するために使用されたロジックを確認し、スケジュールされたパイプラインを管理することもできます。

データ接続

データ接続 は、Foundry にデータを同期し、関連リソース（ソース資格情報など）を管理するために使用されるアプリケーションです。初期設定後、データ接続を使用すると、データソースを簡単に探索し、ユースケース開発のために新しいデータを同期することができます。これにより、スケールでソースシステムとユースケースを管理するために必要なガバナンスコントロールの全範囲に準拠します。

データセットプレビュー

データセットプレビュー は、データセット を表示および理解するために使用されるアプリケーションです。他のアプリケーションからデータセットを開くと、データセットの内容と一連の文脈情報が表示されます。これには、データセットの所有権、データセットが時間の経過とともにどのように変化したか、適用されているヘルスチェック、および詳細などの情報が含まれます。

データヘルス

データヘルス は、すべてのデータパイプラインで ヘルスチェック を管理するために使用されます。データヘルスを使用すると、パイプラインの保守担当者は、パイプラインのパフォーマンスと信頼性を迅速に把握することができるほか、ヘルスチェックや チェックグループ にアラートを登録して、幅広いデータパイプライン保守ワークフローを実現できます。

ビルド

ビルドアプリケーション は、以前はジョブトラッカーと呼ばれていましたが、Foundry 全体で発生するすべての ビルド を表示し、各ビルドの詳細を調べることができます。これには、実行の進行状況、スケジュール、過去の成功および失敗率に関する情報が含まれます。ビルドアプリケーションを使用して、実行を支える Spark 実行エンジンに関する詳細情報にアクセスし、デバッグおよび最適化ワークフローを実行できます。