ドキュメントの検索
karat

+

K

APIリファレンス ↗

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

同期の設定

同期は、コネクタから特定のデータを読み取り、それを Foundry に取り込むタスクです。例えば、複数のテーブルを含む関係データベースソースを持っている場合、特定のテーブルを Foundry に取り込むための同期を設定することができます。

同期の設定は、選択したプロジェクト内に Foundry の データセット を生成します。ソースからデータセットへのデータの実際の同期は、データセットの ビルド によって行われます。ビルドは手動でトリガーすることができますが、通常は スケジュール を使用して管理されます。

同期を作成するために必要な手順は以下のとおりです:

  1. ソースから同期したい データを定義 します。
  2. データを送信する Foundry 内の 場所を定義 します。
  3. スケジュールを追加するために 同期を設定 します。

同期するデータを定義

まず、Foundry に同期したいデータを決定する必要があります。これを行うには、Data Connection でコネクタを選択し、右上の主要なアクションを選択します:

  • コネクタのタイプが ソースの探索 をサポートしている場合、同期を作成しながらデータソースを探索するために 探索と同期の作成 を選択します。詳細は ソースの探索 のドキュメントを参照してください。
  • それ以外の場合は、同期の作成 を選択します。

探索と同期

ソースの探索 タブでは SQL のストアドプロシージャを視覚化することはできませんが、同期の設定 ページの SQL クエリフィールドで EXEC コマンドを実行し、対応するプロシージャを実行することができます。

コネクタのタイプがソースの探索をサポートしている場合、同期可能なデータを表示する エクスプローラー ページに誘導されます。表示される探索ビューは、使用しているコネクタのタイプによります。例えば、ファイルシステムコネクタでは、ファイルパスを参照してフィルターを設定することができますが、JDBC コネクタでは、テーブルを探索し、SQL クエリを指定することができます。現在、ソースの探索は直接接続には利用できません。

以下では、2つの一般的なコネクタタイプの例を用いて、同期設定の手順を説明します:

ファイルシステムの同期

ファイルシステムの ソースタイプ を探索するとき、同期するファイルのディレクトリを選択し、さらに フィルター を定義することができます。

すべての利用可能なオプションについては、フィルターのドキュメント を参照してください。

同期するディレクトリを選択し、フィルターを適用した後、一致するプレビュー を選択して同期に含まれるファイルを確認します。次に、同期の作成... を選択して進行します。次のステップについては、同期の場所を定義 を参照してください。

JDBC の同期

JDBC の探索ビューからは、単一のデータセットまたは一括(一度に複数のデータセット)の同期を作成することができます。

単一のテーブルを同期する
  • 左ペインのテーブルを選択します。
  • 右上の角にある 同期の作成 を選択します。
  • Sync to の下の New を選択して、宛先の場所を選択します。次のステップについては、同期の場所を定義 を参照してください。
複数のテーブルを同期する
  • 左ペインのテーブルを選択し、Ctrl(PC の場合)または Cmd(Mac の場合)を押しながら他のテーブルを選択します。すべてのテーブルを選択するには、ペインの下部にある All リンクを選択します。
  • 同期のためのクエリを設定することができますし、データセットのプレフィックスを追加することもできます。
  • 右上の角にある 同期の作成 を選択します。
  • 同期に含まれるすべてのテーブルのデフォルトのクエリは SELECT * FROM each table です。pre-queries を使用すると、実際のクエリを実行する前にデータベースの再読み込みをトリガーするなど、メインの SQL クエリの前に実行する SQL クエリを追加できます。
  • 各同期は、データをプッシュするための Foundry 内の目的のデータセットが必要です。
    • デフォルトでは、同期は結果の Foundry データセットに同期内のテーブルと同じ名前を付けます。この同期から作成された各データセットの名前に追加される データセット名 のプレフィックスを追加するオプションがあります。
    • Foundry 内での出力データセットの位置を、適切なプロジェクトに Save datasets in を選択することで指定します。Foundry 内の場所を選択する方法については、次のセクションを参照してください。

同期の場所を定義

ソースの探索を使用しようがしまいが、同期したデータセットを Foundry 内で保存する場所を選択する必要があります。データセットの場所は、プロジェクトレベル の権限に基づき、結果のデータにアクセスできるユーザーを決定します。

同期データセットを作成するときの推奨されるベストプラクティスは、それをコネクタと一緒に保存することです。これにより、特定のコネクタからのすべてのデータに一様に権限を付与するというパターンが可能になり、データパイプラインの作成に役立ちます。データパイプラインのための推奨プロジェクト構造 について詳しく知ることができます。

ソースの探索を使用して同期を作成した場合、プロジェクトを選択するように求める 同期の作成... ボタンを選択しました。ソースの探索を使用しなかった場合、同期ページの左上の Sync to からオプションを選択します。ダイアログを使用してデータセットを保存するプロジェクトを選択し、Save を選択します。

同期の設定

同期を作成すると、同期ページに移動し、2つの主要な同期設定が利用可能になります:

  • ① コア設定 はすべてのコネクタタイプに共通で、同期の宛先、トランザクションタイプ、ビルドスケジュールなどが含まれます。
  • ② ソース固有の設定 はコネクタタイプに依存し、先に設定した 同期するデータを定義 に対応します。

出力データセットの場所を選択する他に、同期ページでは追加のオプションを設定することができます:

同期を作成したら、同期ページの左上にある出力データセットの名前を選択します。これにより、新しいデータセットの データセットプレビュー に移動します。すぐにデータを取り込む場合は、まず右上の Build ボタンの隣にあるドロップダウンを選択します。Force チェックボックスを選択し、次に Build ボタンを選択して、データソースから Foundry にデータを同期します。

次のステップ

このチュートリアルでは、コネクタから Foundry データセットにデータを持ってくる同期を作成する方法を学びました。次に推奨する追加のリソースは以下のとおりです: