パイプラインを最適化する

Foundry でデータパイプラインを作成する過程では、ジョブの失敗を効果的にデバッグしたり、計算処理のパフォーマンスを改善したりするために、内部で計算処理がどのように動作するかを詳しく理解する必要が生じる場合があります。一般に、計算処理で予期しない問題やパフォーマンスの問題が発生した場合は、以下の手順に沿って進めてください。

パイプラインがバッチパイプラインの場合、Foundry の計算処理の基盤となる Spark エンジンをより有効に活用することで、一部の計算ジョブを高速化できる可能性があります。ただし、このようなパフォーマンスチューニングには限界があります。パイプラインの入力が時間の経過とともに急速に増加している場合は、実際に変更されているデータの行やファイルだけを処理するように、パイプラインをインクリメンタル（差分処理）方式に変更する必要があるかもしれません。

予期せず失敗するジョブやエンドツーエンドのパイプラインのデバッグから始める場合は、次のガイドを参照してください。

• 失敗するジョブをデバッグする
• 失敗するパイプラインをデバッグする

Foundry 内部で計算処理がどのように動作するかを理解したい場合は、まず Spark の基本概念を探索してください。