注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Foundry におけるデータ統合の全体的な目標は、組織内の客観的な実態をデジタルで可視化することです。この目標を達成するには、通常、多くのソースシステムからデータを同期し、共通のスキーマを適用し、データセットを結合して、チームが共通のデータ基盤をもとにユースケースを構築できるようにする必要があります。
このコンテキストでは、「データパイプライン」という用語は、ソースシステムから中間データセットを経由し、最終的に高品質でキュレーションされたデータセットを生成するデータの流れを指すものとして広く使われています。これらのデータセットは、オントロジーとして構造化したり、機械学習や分析ワークフローの基盤として利用したりできます。
Foundry で変換ロジックによって接続された2個のデータセットは、いずれもパイプラインと見なすことができますが、実際に「データパイプライン」と呼ぶものは、より限定的です。通常、パイプラインにはオーナーシップという概念があります。これは、業務プロセスを支えるために、データが定期的かつ確実にパイプラインを流れるよう監督する個人またはグループを指します。
オーナーシップの概念に加えて、高品質で本番環境に対応したデータパイプラインには、ほかにもいくつかの特性があります。このドキュメントの以降のセクションでは、これらの考え方を詳しく説明し、詳細を確認できる追加リソースへのリンクを紹介します。
すべてのパイプラインに共通する機能に加え、データの規模、低遅延要件、メンテナンスの複雑さなどの要因に基づいて、データ基盤にどの種類のパイプラインを作成すべきかを検討します。Foundry で利用可能なパイプラインには、バッチ、インクリメンタル（差分処理）、ストリーミングという3つの主要な種類があります。パイプラインの種類について詳しくはこちら。
Foundry の Pipeline Builder では、合理化されたポイントアンドクリックのインターフェースを使って、パイプラインをすばやく簡単にセットアップできます。Pipeline Builder を使うことで、Git スタイルの変更管理、Data Health チェック、マルチモーダルセキュリティ、きめ細かなデータ監査の利点を活用できます。
技術的な知識を持つユーザーは、エンドツーエンドのパイプラインと必要な出力の宣言的な記述に集中し、これまで以上に迅速にパイプラインを構築、保守できます。また、Pipeline Builder のポイントアンドクリック方式のフォームベースのインターフェースにより、技術的な知識が少ないユーザーも、簡素化された方法でパイプラインを作成できます。
端的に言えば、データパイプラインと見なされるには、一連のデータ変換が定期的に実行される必要があります。下流のデータ利用者はデータが定期的に更新されることを期待するため、Foundry でビルドのスケジュールを定義することは、パイプラインを構築するための基本的なステップです。データがパイプラインを流れる頻度は組織の要件によって決まります。週1回や日1回だけ実行されるパイプラインもあれば、1時間ごと、またはさらに高い頻度で実行されるパイプラインもあります。
次のリソースは、Foundry でビルドのスケジュール設定をはじめる際に役立ちます。
パイプラインを定義する初期段階では、各ステップで入力と出力の品質を頻繁に確認することを推奨します。ソースシステムから同期されたデータには、未定義の値や、形式が不適切または一貫性のないデータが含まれることがよくあります。データのクレンジングと正規化は、パイプライン構築プロセスの中核をなす作業です。
データセットに関する前提を確認するためのツールは、Foundry の各所で利用可能です。
パイプラインが確立された後は、データの高品質が継続的に維持されていることを検証する方法として、ヘルスチェックを推奨します。ヘルスチェックをはじめるためのリソースを次に示します。
Foundry のプラットフォームのセキュリティプリミティブは、データ基盤を保護し、機密データが適切に扱われるようにするための、最高水準の機能を提供します。横断的な概念であるプロジェクトは任意アクセス制御を、マーキングは強制アクセス制御をサポートしており、これらを使って幅広いガバナンス要件に対応できます。
パイプラインでデータを安全に扱う方法の詳細については、次のセクションを参照してください。
上記のガイドラインに従ってパイプラインを本番環境に公開した後は、組織の観点からパイプラインを長期的に維持する方法を十分に検討することが重要です。パイプラインがチーム間で引き継がれても高品質を維持できるように、パイプラインのメンテナンスに関するサポートプロセスを具体化し、データが満たすべき条件を明確に定義し、ドキュメントを利用可能にしておく必要があります。
これらのベストプラクティスの詳細を確認します。