プロダクトに関するFAQData Connection

注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

Data Connection

システムからエージェントをクリーンにアンインストールする方法は?

エージェントをクリーンにアンインストールするには、ユーザーインターフェースでのエージェントの再インストールまたはアップグレードに関するドキュメントを参照してください。エージェントのディレクトリを削除する前に、すべての関連プロセスを停止し、プロキシ設定などのローカル設定をコピーしてください。また、エージェント設定ドキュメントに記載されているように、cron ジョブもクリアしてください。

タイムスタンプ: 2024年2月13日

S3 からデータセットをインポートし Foundry でスキーマを適用する際に 'java.lang.NullPointerException' や 'SchemaColumnConvertNotSupportedException' エラーの原因は何ですか?

この問題は、Foundry でスキーマ適用中に列のデータ型の解釈が誤っていることに関連している可能性があります。デバッグするには、Parquet ファイルをダウンロードし、Python コードを使用して適用されたスキーマでデータを読み取ります。エラーメッセージに列名が記載されている場合、問題のある列をスキーマから除外して、残りの部分が正しくロードされるか確認できます。

タイムスタンプ: 2024年2月13日

Foundry を使用して、古いファイルに新しいファイルを追加することなく、最新のエクスポートデータのみが S3 バケットに含まれるようにするにはどうすればよいですか?

最新のエクスポートデータのみが S3 バケットに含まれるようにするには、外部トランスフォームを使用して AWS API を直接呼び出し、クリーンアップや前処理/後処理のカスタムロジックを実装することができます。これには、エクスポート前にバケット内のすべてを削除する、新しいディレクトリを作成する、またはファイルを移動することが含まれます。また、Foundry からエクスポートする前に S3 バケットの内容を削除するスクリプトを書くこともできます。

タイムスタンプ: 2024年2月13日

1 台のサーバーで複数のエージェントがどのように作業を分担しますか?エージェント間に並行処理はありますか?

2 つのエージェント間に並行処理はありません。同期は利用可能な正常なエージェントにランダムに、またはキュー内の同期が少ないエージェントにスケジュールされます。各エージェントは、割り当てられたリソースに応じて、同時に実行できる同期の数を設定できます。

タイムスタンプ: 2024年2月13日

IP 変更による SQL Server 接続タイムアウトを解決するにはどうすればよいですか?コンピュータ名を使用して接続できますか?

ソースを新しい詳細情報で再設定する必要があります。これには、URL にコンピュータ名を使用することが含まれます。

タイムスタンプ: 2024年2月13日

Service Now コネクターを使用して Service Now インスタンスにチケットを自動作成することはできますか?

Service Now コネクターは現在、バッチ同期のみをサポートしています。チケットの自動作成など、Service Now への書き込みを行うには、REST API ソースタイプや外部トランスフォームを使用して API に直接対抗する必要があります。

タイムスタンプ: 2024年2月14日

Data Connection ソースは現在、エージェントからマーキングを継承しますか?

いいえ、Data Connection ソースは現在、エージェントからマーキングを継承しません。

タイムスタンプ: 2024年2月13日

インクリメンタル同期のタイムスタンプをインポートする際に発生するマイクロ秒精度の損失をどのように処理して重複エントリを回避しますか?

タイムスタンプの文字列値である追加の文字列列を作成し、元のタイムスタンプ列の代わりにその文字列列でインクリメンタル同期を実行します。

タイムスタンプ: 2024年2月20日

Foundry インスタンスと顧客の AWS VPC が同じリージョンにある場合、AWS はデータをインターネットに公開することなく転送するため、AWS PrivateLink の追加設定は必要ありません。

タイムスタンプ: 2024年2月13日

カスタムプラグインがジョブ実行時に認識されないのはなぜですか?

この問題は、プラグインとブートバイザーの Java バージョンの違いによる可能性があります。

タイムスタンプ: 2024年2月23日

Globus を使用して blob ストレージ間のデータ転送を有効にする新しいタイプのデータ接続を設定するにはどうすればよいですか?

Python 外部トランスフォームを使用して、Globus Python SDK と統合する必要があります。

タイムスタンプ: 2024年2月13日

Foundry から Microsoft SQL Server への JDBC ソースのエクスポートオプションはありますか?

JDBC エクスポートには、レガシーの エクスポートタスク を使用するのが唯一のオプションです。

タイムスタンプ: 2024年2月21日

Oracle EBS 接続用の jar をアップロードしようとしたときに 'The uploaded Jar was not signed correctly' というエラーが表示されるのはなぜですか?

Palantir によって署名された jar のみを使用する必要があります。

タイムスタンプ: 2024年2月13日

データプロキシ制限の 1,000 万行を超えるデータセットをエクスポートするにはどうすればよいですか?

Foundry トランスフォームでデータセットを Parquet から CSV に変換し、ファイルベースのエクスポート (Data Connection エクスポート) を使用してデータを S3 や Kafka などのファイルベースの宛先に書き出します。

タイムスタンプ: 2024年2月13日

インクリメンタル同期を維持しながら、標準の HDFS ソースタイプをカスタム ABFS ソースタイプに更新することは可能ですか?

はい、同期を維持しながらソースタイプを更新することは可能です。既存の構成を保存し、何か問題が発生した場合に元に戻すことをお勧めします。また、実際のソースに変更を適用する前に、テストソースで更新を試してください。

タイムスタンプ: 2024年2月13日

共有アクセス署名と blob SAS トークンを使用して ABFS ソースに接続できないのはなぜですか?

ABFS ソースに soft-delete が有効になっている場合、共有アクセス署名と blob SAS トークンを使用して ABFS に接続することはできません。これは Azure の許可された構成です。

タイムスタンプ: 2024年4月16日

新しいエクスポートフレームワークが表形式の宛先をサポートしていないため、従来のタスクを使用して表形式のデータソースにデータをエクスポートすることはできますか?

はい、ユーザーの表形式のデータソースに JDBC ドライバーがある場合、JDBC エクスポートタスクを使用してデータをエクスポートできます。

タイムスタンプ: 2024年4月25日

MS OneLake に接続するにはどうすればよいですか?

外部トランスフォームを使用し、OneLake が提供する Python クライアントを活用して MS OneLake に接続できます。

タイムスタンプ: 2024年4月16日

データコネクターを介して接続された場合、Foundry 側でデータベースのストアドプロシージャを表示またはアクセスすることはできますか?

いいえ、データベースのストアドプロシージャは、データコネクターを介して接続された場合、Foundry 側で直接表示またはアクセスすることはできませんが、同期を設定する際に "SQL クエリ" オプションを使用して実行できます。

タイムスタンプ: 2024年4月16日

エージェントが初回インストールおよび起動後に追加ファイルをダウンロードし始めるのはなぜですか?

エージェントは、ブートストラッパー / ブートバイザー / エージェントバイナリの更新バージョンや、管理されたプラグインバイナリの初期または更新バージョンをダウンロードする必要があります。これらの一部は常にダウンロードされ、他のものはそのタイプのソースがエージェントに割り当てられている場合にのみダウンロードされます。

タイムスタンプ: 2024年4月24日

インクリメンタルセクションに表示されないバイナリタイプ列 $start を使用して SQLServer CDC テーブルでインクリメンタルインジェストを設定するにはどうすればよいですか?

バイナリタイプの列 $startvarchar(max) にキャストしてトランケーションを回避し、次にその列をインクリメンタルセクションで使用します。

タイムスタンプ: 2024年4月16日

Azure へのデータエクスポート時にファイルの名前を変更するために rewritePaths を正しく使用するにはどうすればよいですか、そしてなぜ 1 つのファイルのみがエクスポートされるのですか?

ファイルベースのエクスポートには、新しいエクスポート機能を使用する必要があり、rewritePaths はサポートされていません。代わりに、エクスポートプロセスの上流で必要なファイルの名前変更やデータ変換を行います。このアプローチは、レガシーのエクスポートタスクが構成およびデバッグが困難であるため、推奨されます。

タイムスタンプ: 2024年4月16日

エージェントを 2 つのホスト間で移行するにはどうすればよいですか?

エージェントを 2 つのホスト間で移行するには、まず古いホストで ./auto_restart.sh clear; ./init.sh stop を使用してエージェントを正しくシャットダウンし、cron ジョブを削除してブートストラッパーを停止します。次に、エージェントを含むディレクトリ全体を scp などのツールを使用して新しいホストにコピーします。両方のホストが稼働しており、接続できることが前提です。

タイムスタンプ: 2024年4月18日

データセットの値に基づいて動的に変更される SQL クエリを使用して JDBC を使用して Foundry にデータをインポートするにはどうすればよいですか?

Foundry にデータをインポートするには、JDBC をサポートする同期/抽出を使用する必要があります。SQL クエリが動的に変更されるユースケースでは、同期構成を変更するのではなく、データインジェストのカスタムロジックを書くために外部トランスフォームを使用する必要があります。このアプローチは、制限があるためデータコネクションタスクよりも推奨されます。

タイムスタンプ: 2024年4月16日

Postgres から配列タイプの列をインジェストするための推奨アプローチは何ですか?

配列タイプの列を文字列としてインジェストし、Pipeline Builder でそれらを解析することが推奨されます。

タイムスタンプ: 2024年4月24日

エージェントを作成するために必要なプロジェクトレベルの権限は何ですか?

プロジェクトに対する Owner 権限が必要です。

タイムスタンプ: 2024年4月16日

JDBC ソースを探索しようとしたときに 'ExplorationRuntimeReadinessService' エラーが発生した場合はどうすればよいですか?

問題は一時的なものであり、サービスを数回更新することで修正できる場合があります。

タイムスタンプ: 2024年4月16日

Oracle JDBC ドライバー接続の SSL パラメーターは何ですか?

Oracle JDBC ドライバー接続に必要な SSL パラメーターは CONNECTION_PROPERTY_THIN_NET_ENCRYPTION_LEVEL です。

タイムスタンプ: 2024年5月23日

インクリメンタル同期でインジェストされるファイルの数を制限し、ファイルが選ばれる順序を保証するにはどうすればよいですか?

フィルター:

- type: sortByLastModified  # 最終更新日でソート
  order: DESCENDING         # 降順

ファイルのインジェスト数を制限し、ファイルが選択される順序を保証するために使用できます。

タイムスタンプ: 2024年4月24日

Data Connection エージェントは AWS Fargate (Serverless ECS または EKS) にインストールできますか?

AWS Fargate (Serverless ECS または EKS) は、デフォルトでボリュームがアタッチされていないため、Data Connection エージェントをデプロイするインフラストラクチャとして Palantir は推奨していません。これらのサービスを使用してエージェントをコンテナにデプロイすることは公式にはサポートされていません。

タイムスタンプ: 2024年9月5日