4. Scheduling Data Pipelines7 - 重要なポイント
Warning

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

7 - 重要なポイント

learn.palantir.com でも以下の内容をご覧いただけますが、アクセシビリティの観点から、ここに掲載しています。

Scheduler アプリケーションは、データパイプラインに自動化とロジックをもたらします。このチュートリアルでは、基本的なスケジュールを設定し、プロジェクトに追加のドキュメンテーションを追加して保守性を向上させました。パイプラインの監視において、うまくスケジュールを立てることは重要な部分であり、Foundry のデータパイプラインに取り組むすべてのデータエンジニアに対して、スケジュールの実装に関するベストプラクティスに精通することを強く推奨します。

このチュートリアルでは、次のことを行いました:

  • このトレーニングのルートを通じて開発を続けるより大きく、より充実したパイプラインの Datasource Project セグメントに対するイベント駆動型のスケジュールを開発しました。

以下は、このトレーニングで使用された製品ドキュメンテーションのリストです:

次のいくつかのチュートリアルでは、Foundry プラットフォームで一般的なデータ変換タスクを実行するためにデータエンジニアリングスキルをどのように活用できるかを示します。その最初の一つは、生のファイル(csv と json)にアクセスし、パースしてフライトの乗客データを全体のプロジェクトに取り込むことです。