4. データパイプラインのスケジューリング7 - 重要なポイント

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

7 - 重要なポイント

Scheduler アプリケーションは自動化とロジックをユーザーのデータパイプラインにもたらします。このチュートリアルでは、基本的なスケジュールを設定し、プロジェクトに追加のドキュメンテーションを追加して保守性を向上させました。巧みにパイプラインをスケジュールすることは、パイプライン監視の重要な部分であり、Foundry でデータパイプラインに取り組むすべてのデータエンジニアに、スケジュールの実装に関するベストプラクティスに精通していることを強く推奨します。

このチュートリアルでは、ユーザーは以下を行いました:

  • このトレーニングのルートを通じてさらに開発を続ける、より大きく、より多機能なパイプラインの Datasource Project セグメントのイベント駆動スケジュールを開発しました。

以下は、このトレーニングの過程で使用された製品ドキュメンテーションのリストです:

次のいくつかのチュートリアルでは、Foundry プラットフォームで一般的なデータ変換タスクを実行するために、ユーザーのデータエンジニアリングスキルをどのように活用できるかを示します。これらの最初の一つは、生のファイル(csv と json)にアクセスして解析し、フライトの乗客データをユーザーの全体的なプロジェクトに取り込むことです。