Amazon Kinesis

Foundry を Amazon Kinesis に接続して、Kinesis ストリームから Foundry ストリームにリアルタイムでデータを読み込みます。

サポートされている機能

機能	ステータス
探索	🟢 一般利用可能
ストリーミング同期	🟢 一般利用可能
ストリーミングエクスポート	🟢 一般利用可能

データモデル

partition_key (string)	data (string)	kinesis_ingestion_timestamp (timestamp)	foundry_ingestion_timestamp (timestamp)
London	{"firstName": "John", "lastName": "Doe"}	2023-07-12T15:12:42.371Z	2023-07-12T15:12:42.512Z
Paris	{"firstName": "Jean", "lastName": "DuPont"}	2023-07-12T15:12:42.418Z	2023-07-12T15:12:42.512Z

Kinesis コネクタはメッセージ内容をユニコード文字列に解析します。下流のストリーミングトランスフォーム（例えば、Pipeline Builder の parse_json）を使用して構造化データを解析します。

partition_key 列には、メッセージを Kinesis に投稿するために使用されたパーティションキーが含まれます。
kinesis_ingestion_timestamp 列には、メッセージが Kinesis に投稿された時刻が含まれます。
foundry_ingestion_timestamp 列には、メッセージが Foundry に取り込まれた時刻が含まれます。

パフォーマンスと制限

コネクタは常にソース Kinesis ストリームのアクティブなシャードごとに 1 つの消費者スレッドを使用します。

ストリーミング同期は一貫した、長時間実行されるジョブを意図しています。ストリーミング同期の中断は、予期される結果に応じて潜在的な停止を意味します。

現在、ストリーミング同期には以下の制限があります。

エージェント接続からのジョブは、メンテナンスウィンドウ中に（通常は週に 1 回）アップグレードを取得するために再起動します。予想されるダウンタイムは 5 分未満です。
直接接続からのジョブは、少なくとも 48 時間ごとに再起動します。予想されるダウンタイムはシングルディジット分です（リソースの利用可能性がジョブの即時再起動を許可する場合）。

ダウンタイムを最小限に抑えるために、ソースごとに 2 つのエージェントを接続することを推奨します。エージェントのメンテナンスウィンドウが重ならないようにしてください。

メッセージの順序

Kinesis コネクタは、同じ partition_key を持つメッセージの配信順序を保証します。異なる partition_key を持つメッセージは任意の順序で処理される可能性があります。

セットアップ

Data Connection アプリケーションを開き、画面の右上にある + New Source を選択します。
利用可能なコネクタタイプから Kinesis を選択します。
インターネット経由の direct connection を使用するか、仲介エージェントを通じて 接続するかを選択します。
- ダウンタイムを最小限に抑えるために、ソースごとに 2 つのエージェントを接続することを推奨します。エージェントのメンテナンスウィンドウが重ならないようにしてください。
以下のセクションの情報を使用して、コネクタのセットアップを続行するための追加の構成プロンプトに従います。

Foundry でのコネクタの設定についてさらに学びます。

接続設定

パラメーター	必須か	デフォルト	説明
AWS Region	はい	us-east-1	ユーザーの Kinesis ストリームが存在する AWS リージョン。

認証

Kinesis 接続の認証方法を選択します: AWS Instance または Static Credentials。

以下は、指定された kinesis ストリームから読み書きするために必要なパーミッションの例を含むサンプル IAM ポリシーです。

Copied!1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ReadKinesisStream",
      "Effect": "Allow",
      // Kinesisストリームの読み込み許可
      "Action": [
        "kinesis:ListShards",
        "kinesis:GetShardIterator",
        "kinesis:GetRecords",
        "kinesis:DescribeStream"
      ],
      "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/read-stream-name"
    },
    {
        "Sid": "WriteKinesisStream",
        "Effect": "Allow",
        // Kinesisストリームへの書き込み許可
        "Action": [
            "kinesis:PutRecords"
        ],
        "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/write-stream-name"
    }
  ]
}

AWS インスタンス

AWS インスタンス認証は、エージェントを介して接続する場合のみ利用可能で、直接接続では使用できません。

ユーザーの Foundry エージェントがプロビジョニングされた IAM ロール（例：EC2 インスタンス）を持つ AWS リソース上で動作している場合、Kinesis コネクタはプロビジョニングされた IAM ロールを使用して Kinesis ストリームに接続します。追加の設定は必要ありません。

静的資格情報

静的資格情報は、Access Key ID と Secret Access Key を IAM ユーザーに紐付けた標準的な AWS 認証を指します。

パラメーター	必須？	デフォルト
Access Key ID	はい	いいえ
Secret Access Key	はい	いいえ

STS ロール

Kinesis コネクタは、Kinesis ストリームに接続する前に、必要に応じて STS ロールを引き受けることができます。これらのパラメーターについての詳細は、AWS ドキュメンテーション ↗を参照してください。

パラメーター	必須？	デフォルト
Role ARN	はい	いいえ
Role session name	はい	いいえ
Role session duration	はい	900
External ID	いいえ	いいえ

ネットワーキング

コネクタは AWS Kinesis API にアクセスできる必要があり、STS ロールを使用する場合は AWS STS API にもオプションでアクセスできる必要があります。

Kinesis API: https://kinesis.<region>.amazonaws.com
STS API: https://sts.<region>.amazonaws.com

Kinesis からデータを同期する

ストリーミング同期の設定チュートリアルで、Kinesis との同期の設定方法を学びます。

Kinesis へのデータのエクスポート

コネクタは、Data Connection の外部 Kinesis ストリームへのエクスポートをサポートしています。

Kinesis へのエクスポートを行うには、まずユーザーの Kinesis コネクターでエクスポートを有効にする必要があります。その後、新しいエクスポートを作成する。

エクスポート設定オプション

オプション	必須？	デフォルト	説明
`Output stream ARN`	はい	N/A	エクスポートしたい Kinesis ストリームの ARN。
`Partition column`	はい	最初の文字列列	ストリーム内でデータレコードが所属するシャードを決定するために使用される列。これは文字列値である必要があり、通常はプライマリキーです。詳細は AWS ドキュメンテーション ↗を参照してください。