データ接続と統合パイプラインのメンテナンス概要

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

パイプラインを保守する

さまざまなユースケースを支えるためにデータパイプラインが作成され、本番運用に移行すると、活発な開発が行われなくなり、主に保守に重点を置く状態になるものもあります。

このページでは、パイプライン保守担当者の責任と、パイプラインを保守モードに移行するための前提条件について説明します。

このセクションの残りのページでは、パイプライン保守のベストプラクティスとアプローチについて説明します。

前提条件と期待事項

パイプラインの保守を始める前に、パイプラインに対する期待事項を明確に定義しておくことが重要です。これにより、現実的なアラートのしきい値を設定し、パイプラインの保守作業とアラートに優先順位を付け、チーム間の責任を明確に分け、そして何よりも、パイプラインがユーザーのニーズを満たしていることを確認できます。

このセクション全体のベストプラクティスは、次の期待事項が把握されていることを前提としています。

  • パイプラインの対象となるデータ
  • 提供されるデータ
  • データが提供されるタイミング
  • データをビルドする予定のタイミング
    • 特に、週末にもパイプラインを実行すべきかどうか
  • データを更新する理想的な頻度
  • データが古くなり、重大な問題とみなされるタイミング

パイプライン保守の責任

パイプライン保守担当者の責任には、次の事項が含まれます。

  • パイプライン監視の技術面の設定
  • パイプラインに不具合が発生したとき(ヘルスチェックに失敗したとき)のデバッグ
  • 必要に応じたコードの変更や監視設定の変更
  • データが正しくない場合や、予定どおりに届かない場合の上流チームへの連絡

これらの責任を果たすために、パイプライン保守担当者には次のスキルとアクセス権が推奨されます。

  • データへのアクセス権(可能であれば推奨):適切なデータアクセス権があれば、データに問題がある場合に適切にデバッグできます。
  • 技術スキル(推奨):パイプライン監視チームのメンバーは、コードを読めることに加え、Code Repositories、Builds、Data Lineage、Data Health などのパイプライン開発ツールを使いこなせる必要があります。これにより、パイプライン全体の問題を効果的に把握し、トリアージできます。
  • パイプラインアーキテクチャの知識(任意):チームメンバーは、監視を始める前にパイプラインについて理解を深めておく必要があります。ドキュメントやインフラストラクチャに関するナレッジ管理を通じて、この理解を促進できます。