8. [Repositories] オントロジーデータパイプライン1 - このコースについて

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

1 - このコースについて

Foundry オントロジーは、組織にとって重要なエンティティ、イベント、プロセスの「デジタルツイン」です。このセマンティックオブジェクトレイヤーは、ユーザーや同僚が運用・相互運用可能なアプリケーションを構築するために使用できる一貫した API を提供します。以下の Data Lineage 画像では、Foundry オントロジーの [Example Data] Flight オブジェクトタイプが、少なくとも 2 つの運用アプリケーション(Data Lineage で「モジュール」としてラベル付けされています)で使用されており、航空機やフライトアラートなどの他のオブジェクトタイプにリンクしていることがわかります。

このグラフはまた、[Example Data] Flight オブジェクトタイプがスケジュールされたビルドの出力であるデータセットによって「バック」されていることも示しています。このフローは、このチュートリアルの中心テーマを示しています。データエンジニアは、アプリビルダーの同僚と緊密に連携して、Foundry オントロジーのオブジェクトとリンクを形成するパイプラインとデータセットを作成する必要があります。

⚠️ コースの前提条件

  • DATAENG 07: データ期待値の設定: このトラックの前のコースをまだ完了していない場合は、今すぐ行ってください。
  • 組織のオントロジーを編集するための必要な権限。権限が必要な場合は、プログラム管理者または Palantir サポートにお問い合わせください。

アウトカム

データパイプラインは孤立した作成物ではありません。必ず何らかの目的のために構築されます。このトレーニングでは、パイプラインの目的は、リンクされたオントロジーオブジェクトタイプをバックするデータセットを準備することです。オントロジーの設定を実践で学び、パイプラインを更新してバッキングデータセットを最適化し、オントロジーの形状を変更するような上流データの変更に対して耐性を持たせる方法を学びます。最後に、一連の演習で一般的なトラブルシューティング手順を学びます。

学習の目的

  1. オントロジーの基本概念、基本的なユースケース、設計上の意思決定を理解する。
  2. オブジェクトエクスプローラーでオブジェクトタイプを検索し、フィルター処理する方法を知る。
  3. オントロジーマネージャーで新しいオブジェクトタイプとリンクタイプを作成する方法を知る。
  4. ベストプラクティスに従って、オントロジーで使用するためのバッキングデータセットを最適化する。
  5. 上流データの変更に対してオブジェクトタイプが耐性を持つように、パイプラインにチェックを適用する。
  6. オントロジーのストレージと取得アーキテクチャを理解する。
  7. 「書き戻し」とデータパイプラインにおけるその位置づけについて、経験ベースの理解を深める。
  8. 一般的なオントロジー同期問題のトラブルシューティングを実践する。

💪 Foundry のスキル

  • オブジェクトエクスプローラーを使用して、オントロジーを検索、フィルター処理し、一般的に理解する。
  • オントロジーマネージャーを使用して、オントロジーオブジェクトタイプとリンクタイプを作成および編集する。
  • パイプライン変換を更新して、オントロジーバックエンドとの同期に最適化されたバッキングデータセットを作成する。
  • "書き戻し"データセットを作成し、データパイプラインに配置する。
  • オントロジーマネジメントアプリケーションのオブジェクトストレージインターフェースで、追加および破壊的なスキーマ変更に対応する。