注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
Foundry のオントロジーは、ファイルベースのデータをビジネス中心のオブジェクトにマッピングし、データ探索、データ分析、運用データ編集、シナリオ分析などの高速クエリを提供するデータバックエンドです。オントロジーは各自の目的を持つマルチモーダルストレージバックエンドにデータを格納し、単一のリクエストで柔軟にクエリを行うことができます。Foundry オントロジーのクエリには、以下で説明するいくつかの基本的な概念の理解が必要です。
Palantir と企業契約を結んでいる場合は、コンピュート利用の計算を進める前に Palantir の担当者に連絡してください。
最初の重要な概念は、オブジェクトタイプとそれに対応するオブジェクトセットの違いです。オブジェクトタイプはエンティティそのもの(オブジェクトの名前やプロパティなど)のセマンティック表現です。
オブジェクトタイプには対応するオブジェクトセットがあり、それにはオブジェクト自体が含まれます。オブジェクトセットのサイズは、入力データセットの行数と、オントロジーのアクションによって作成および削除されたオブジェクトの数に対応します。
2つ目の重要な概念は、クエリタイプのアイディアで、フィルター、集約、Search Arounds、書き戻し操作などが含まれます。それぞれのクエリタイプは、実行にコンピュートを必要とします。
sum
や avg
)を実行します。API ドキュメンテーションを参照して、クエリタイプについてさらに詳しく学びましょう。
Foundry オントロジーを使用すると、クエリタイプは以下の Foundry アプリケーション によって オブジェクトセットに対して実行されます。
これらのソースからオントロジーをクエリすると、クエリを実行するためのコンピュート秒が使用されます。
Object Storage V1(Phonograph)は、データを耐久性のある水平スケーラブルなクラスターの分散セットのインデックスに格納します。これらのインデックスでは、データはオントロジークエリエンジンがトラバースする大きなデータ構造に配置されます。クエリが実行されると、エンジンはインデックスをトラバースすることで、検索中に大量のデータの処理を回避することができます。このプロセスは "pruning"(剪定)と呼ばれます。
このエンジンを使用すると、最大1000倍少ないレコードを評価することで、何十億ものレコードを検索することができます。レコードの物理的な評価は "hit"(ヒット)と呼ばれます。Object Storage V1は、各クエリでのヒット数を最小限にするように設計されています。
Object Storage V2(OSv2)は、オブジェクトを高速インデキシング、Search Arounds、書き戻し、複雑なタスクを達成するための複数のコンピュートバックエンドへのスムーズなハンドオフを可能にするPalantirにより最適化されたインデキシングフォーマットで格納します。これには、クエリの一部として完全に並列化されたSparkコンピュートが含まれます。
Object Storage V2も効率的なインデキシング構造を使用しているため、Object Storage V1からの基本クエリのヒットという同じ原則が適用されます。ただし、クエリの一部として起動されたオンデマンドのSparkコンテナによってもコンピュート秒が使用されることもあります。
Object Storage V2 バックエンドのオブジェクトに対して行われたクエリは、以下のパターンでコンピュートを使用します。
16
コンピュート秒です。10
コンピュート秒です。Object Storage V2 の最適化された構造は、Object Storage V1よりもオーバーヘッドが少ないため、固定コンピュート秒オーバーヘッドが少なくなります。Foundry では、コンピュート秒はプラットフォームのリソースに帰属し、それらのリソースと対話するユーザーではなく。
オントロジークエリに関しては、コンピュートが帰属する方法は複数あります。一般的なルールとして、コンピュートはクエリが発生したリソースに帰属します。ただし、コンピュートを生成するために使用される保存されたリソースがない場合(API経由など)、コンピュートはクエリされているオブジェクトタイプに帰属します。1つのリクエストで複数のオブジェクトがクエリされる場合、コンピュートはオブジェクト間で均等に分配されます。
以下のリソースタイプは、オントロジークエリのコンピュートがこれらに帰属し、基礎となるオブジェクトではない。
以下のインタラクションパターンは、オントロジークエリのコンピュートが直接クエリされているオブジェクトタイプに帰属する。これは、コンピュートを帰属させるための設定されたリソースがないためです。