Google Pub/Sub

Foundry を Google Pub/Sub に接続して、トピックのデータを Foundry ストリームにリアルタイムで読み込みます。

サポートされている機能

データモデル

このコネクターはメッセージの内容をパースしないため、任意のデータ型のデータを Foundry に同期できます。すべての内容は、パースされないまま data 列にアップロードされます。データをパースするには、下流のストリーミングトランスフォーム（たとえば、Pipeline Builder の parse_json）を使用します。id 列には、Pub/Sub から受信したメッセージIDが表示されます。

同期を設定する際は、Foundry のデータセットのスキーマが上記のスキーマと一致している必要があります。

パフォーマンスと制限事項

このコネクターは、単一のコンシューマースレッドを使用して Pub/Sub からメッセージを同期します。Foundry から Pub/Sub にデータをエクスポートする際は、Foundry データストリームのパーティションごとに1つのスレッドが使用されます。

ストリーミング同期では、Foundry の出力データセットに基づいて購読が作成されるため、設定する資格情報には購読を作成する権限が必要です。同じトピックから読み込むように複数のインポートを設定すると、それぞれが独自の購読を作成し、そのトピックのすべてのメッセージを読み込みます。

ストリーミング同期は、安定して長時間実行されるジョブを想定しています。ストリーミング同期の中断は、期待される結果によっては、サービス停止に相当する可能性があります。

Foundry でストリーミング同期を設定する前に、次の点を考慮してください。

• Foundry ワーカーで実行されるジョブは、48時間ごとに少なくとも1回再起動します。利用可能なリソースがあり、ジョブを即座に再起動できる場合、想定されるダウンタイムは10分未満です。
• レガシーの Agent ワーカーソースでは、アップグレードを適用するため、Agent のメンテナンスウィンドウ中（通常は週に1回）にジョブが再起動します。想定されるダウンタイムは5分未満です。

セットアップ

1. Data Connection アプリケーションを開き、画面の右上にある + 新規ソースを選択します。
2. 利用可能なコネクターの種類から Pub/Sub を選択します。
3. 追加の設定プロンプトに従い、以下のセクションの情報を使用してコネクターのセットアップを続行します。

Foundry でコネクターを設定する方法について詳しくはこちらをご覧ください。

認証

利用可能な2つの認証方式から選択します。

• GCP インスタンス アカウント： インスタンスベースの認証を設定する方法については、Google Cloud のドキュメント ↗ を参照してください。

  • GCP インスタンス認証は、GCP 内で適切に設定されたインスタンス上で稼働する Agent を介した接続でのみ機能します。

• サービスアカウントキーファイル： サービスアカウントキーファイル認証を設定する方法については、Google Cloud のドキュメント ↗ を参照してください。キーファイルは JSON または PKCS8 の資格情報として指定できます。

設定する資格情報には、以下へのアクセス権が必要です。

• 同期の場合：
  • roles/pubsub.viewer
  • roles/pubsub.subscriber
  • projects.subscriptions.create
• エクスポートの場合：
  • roles/pubsub.publisher

接続情報

Pub/Sub コネクターでは、以下の設定オプションを利用できます。

Pub/Sub からデータを同期する

Pub/Sub との同期を設定する方法については、ストリーミング同期を設定するチュートリアルを参照してください。

同期を設定する際は、データセットのスキーマが上記のデータモデルのセクションで説明されているスキーマと一致している必要があります。

Pub/Sub にデータをエクスポートする

このコネクターは、Data Connection を介した Pub/Sub へのストリームのエクスポートをサポートしています。

Pub/Sub にエクスポートするには、まず Pub/Sub コネクターのエクスポートを有効にします。次に、新しいエクスポートを作成します。

エクスポートの設定オプション