Warning

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

5 - スケジュールの構築方法の定義

learn.palantir.com でも以下の内容をご覧いただけますが、アクセシビリティの観点から、ここに掲載しています。

📖 タスクの概要

パイプラインの何を、いつ実行するかを定義しましたが、このスケジュール内でのビルドがどのように実行されるかを構成するいくつかの設定が残っています。

🔨 タスクの説明

  1. スケジューラーパネルの ビルド範囲 セクションで、ドロップダウンを プロジェクト範囲 に設定します。これにより、スケジュールが個々のユーザーの権限ではなく、プロジェクトの権限に基づくトークンで実行されるようになります。

  2. スケジューラーパネルの下部にある折りたたまれた ▸ 詳細オプション セクションを開きます。

  3. 失敗時にビルドを中止する オプションを選択します。パイプラインの一部が更新されている間に別の部分が失敗することは望ましくないため、単一の失敗でスケジュール全体を停止させることで、パイプラインの偏りを防ぐのに役立ちます。

  4. 失敗したジョブの試行回数をカスタマイズする オプションを設定します。リトライ回数を3回、リトライ間隔を1分に設定します。この設定は、ビルドが一時的に停止した場合など、一時的なネットワーク問題やその他の「不安定さ」を克服するのに役立ちます。

    ℹ️ 詳細設定強制ビルド オプションは、Data Connection インジェスト用にのみ使用すべきです。そうでなければ、ビルドが不要なデータセットをビルドしてしまい、Spark計算リソースが無駄になる可能性があります。

  5. スケジュールパネルの右下にある青い 保存 ボタンをクリックして、スケジュールを保存します。

📚 推薦文献(約7分読む)

この演習では、基本的なスケジュール構成設定に触れました。このリンクから、パイプラインのスケジューリングに関するベストプラクティスを説明するFoundryドキュメントページにアクセスできます。データエンジニアは、データパイプラインの構築や改善を行う際に、このページをブックマークしておくことを検討すべきです。