Multimodal Data Plane (MMDP)

Multimodal Data Plane (MMDP) は、Palantir のオープンなデータおよびコンピュートアーキテクチャです。MMDP には、顧客のミッションの最前線で実戦に耐えるソリューションを構築し、分析システムと業務システムの設計の間にしばしば緊張関係を生む設計上のトレードオフに向き合ってきた、20年にわたる知見が反映されています。

具体的には、ほとんどのプラットフォームアーキテクチャは、特定のコンピュートランタイムやデータストレージのモダリティを中心に構築されています。これは限定的なユースケースでは機能しますが、相互に関連するユースケースへと拡張する際には、こうした依存関係がすぐに障害となる可能性があります。このようなユースケースでは、たとえば構造化データ、非構造化データ、時系列データ、地理空間データ、幾何データの複雑な連携が必要です。それぞれのデータを異なる形態のコンピュートで変換・操作したうえで、シームレスなエンドユーザー体験の中で統合的に利用できるようにする必要があります。

AI の時代において、断片化したデータとコンピュートから脱却することは、もはや単なる「あれば望ましいもの」ではなく、企業の自律性を実現するために不可欠です。

あらゆるデータ：MMDP のオープンデータアーキテクチャ

MMDP の基盤は、オープンデータアーキテクチャです。その出発点となるのが、Foundry と AIP の主要なテーブル形式として Apache Iceberg を採用するという方針です。

Iceberg は、AWS、Google Cloud、Microsoft Azure、Databricks、Snowflake を含む Palantir の主要パートナーで、オープン標準として採用が進んでいます。

MMDP では、Iceberg カタログを Palantir 内で管理することも、これらのプロバイダー（またはほかのプロバイダー）から登録された仮想カタログや仮想テーブルとして管理することもできます。つまり、業務アプリケーションや AI 駆動の自動化のためにオントロジー内のデータを活用する際、データを複製する必要は一切ありません。

Iceberg の採用により、SQL アプリケーションや分析用ノートブックなどの標準ツールから、ほかの環境と同様に Foundry と AIP のデータへ安全にアクセスし、操作することもできます。

多くの組織では、より広範で多様な企業アーキテクチャの一部として Palantir を組み込んだ「データメッシュ」（あるいは現在では「AI メッシュ」）を構築しています。MMDP は、このような混在するアーキテクチャをサポートすることを明確な目標としています。そのために、成果のエンドツーエンドでの実現を可能にする「壁のない庭」を提供し、同時に、アーキテクチャのすべての層を既存のデータレイク、レイクハウス、従来型のウェアハウス、データガバナンスツール、そのほかの主要なストレージリポジトリと深く統合できるようにしています。

MMDP：表形式データを超えたオープン性

MMDP は、表形式データに加えて、メディア、ドキュメント、ストリーミングデータ、地理空間データ、そして広範なマルチモーダルデータ型にも、同じオープン性を保証します。

メディアデータは、基盤となる形式についての前提を極力抑えて同期できます。既知の形式であれば、分析ツールですぐに対話的なパースを支援できます。カスタム形式やニッチな形式を統合する場合には、ほかのソースからメタデータを遅延付与できます。

ストリーミングデータや地理時系列データにも同じことが当てはまります。これらのデータには、主要なイングレスパイプラインと並列に流れるデータパイプラインでの処理を必要とする、関連メタデータ（たとえばセンサータグ）が含まれる場合があります。

データの取り込み方や加工方法にかかわらず、基盤となるすべてのファイルとポイントに、標準の REST API、および Python と TypeScript の SDK を通じて安全にアクセスできます。

エクスポートジョブとオントロジーベースの Webhook は、モダリティにかかわらず、あらゆるデータを外部システムと同期するためのシンプルで安全な方法を提供します。また、ソースベースのトランスフォームというパラダイムにより、開発者は Foundry ツールチェーンの能力を最大限に活用し、個々のワークフローステップの粒度で、必要に応じてデータエグレスをカスタマイズできます。

あらゆるコンピュート：MMDP のオープンコンピュートアーキテクチャ

MMDP のオープンコンピュートアーキテクチャは、オープンデータアーキテクチャの価値を引き出します。Foundry と AIP には、すぐに使える多様なランタイムが用意されており、そのすべてが、セキュリティを強化した自動スケーリング対応の Kubernetes ベースのコンピュートメッシュ（Palantir Rubix）を使用します。

Rubix はゼロトラストの原則に基づいて動作し、管理するすべてのランタイムとサービスに厳格なセキュリティ態勢を適用します。たとえば、高度な持続的脅威から防御するため、すべてのコンテナは72時間以内に破棄され、入れ替えられます。そのため、依存するコンピュートインフラストラクチャには、高い可用性と、単一ノードの障害に対する全般的な耐障害性が求められます。

技術分野のデータエンジニア、分析分野のデータサイエンティスト、業務分野のビジネスユーザーなど、さまざまなロールや職務のユーザーが、プラットフォーム内で（また API や SDK を通じて）バッチ、ストリーミング、対話型のコンピュートエンジンを活用できます。これには、バッチコンピュート向けの自動スケーリング対応 Spark、ストリーミングコンピュート向けの自動スケーリング対応 Flink、Apache DataFusion、Polars、DuckDB などのオープンで高性能なシングルノードエンジンが含まれます。

「オントロジーの南側」（生データからオントロジーデータまで）で管理されるデータ変換と、「オントロジーの北側」（オントロジーデータからエンドユーザーまで）で使用される対話型関数は、耐障害性とガバナンスを確保しながら、これらのランタイムやほかのランタイムを活用できます。

MMDP：あらゆるコンピュートで構築する

Compute Modules フレームワークは、「独自のコンピュートの持ち込み」（「BYO Compute」）を可能にします。これにより、コンテナ化された任意のリソースをインポートし、バッチ、ストリーミング、対話型の関数を通じて安全に利用できるようにします。

業務ワークフローでは、最も重要な実行可能ファイルやモデルが、ドメイン固有のアーティファクトや、活発な開発が行われなくなったレガシーパッケージに閉じ込められていることがよくあります。Compute Modules により、こうした断片化したコンピュートアーティファクトを安全に解放し、ホストして、AI を活用したワークフロー全体で使用できます。また、より新しいロジックアーティファクト（Python、Java、SQL、Go、Rust のプログラムなど）と併用できます。

Foundry と AIP は、Palantir 環境の外部にあるコンピュートリソースと連携してオーケストレーションを行うこともできます。これには、既存のモデル推論インフラストラクチャ、Spark クラスター、クラウドでホストされる最適化エンジン、オンプレミスで稼働する高性能コンピューティングリソースが含まれます。

MMDP は、クラウドネイティブのランタイム（Databricks や Snowflake など）へのネイティブかつシームレスなコンピュートのプッシュダウンも可能にします。これにより、開発者は既存のコンピュートリソースで Pipeline Builder や Code Workspaces などのツールを使用できます。

あらゆるモデル：モデルへのアクセスに対する Palantir の取り組み

オープン性と任意性に対する Palantir の取り組みは、生成 AI にも及びます。MMDP の「あらゆるモデル」という理念は、AIP の Model Catalog を通じて最新の生成 AI モデル（OpenAI、Anthropic、Google、Meta、xAI のモデルを含む）を提供し続けるとともに、企業が独自のモデルを同等に登録して使用できる公平な環境を提供するという継続的な取り組みを反映しています。

LLM とマルチモーダルモデルは、Palantir が提供するものでも、カスタム登録されたものでも、Pipeline Builder、Workshop、AIP Logic、開発者向けツールチェーンを含む Foundry および AIP のアプリケーション全体でシームレスに使用できます。

管理を支援するために、モデルへのアクセスをきめ細かく制御でき、すべてのユースケースと取り組みにわたってトークンの上限を設定できます。また、リソース管理機能は、基盤となるモダリティ、ランタイム、形式にかかわらず、MMDP を通じて接続されたすべてのデータ、コンピューティング、AI モデルを一貫してカバーします。

あらゆる場所：オープン性に対する MMDP の取り組み

MMDP は、モノリシックなストレージおよびコンピューティングアーキテクチャによる安易な解決策に頼ることなく、分析と業務運用の世界をつなぎます。

オープンなデータアーキテクチャは、Apache Iceberg などのオープン標準を活用しながら、メディア、ドキュメント、ストリーム、マルチモーダルデータ型を同等に扱います。

オープンなコンピューティングアーキテクチャは、一般的なランタイムを組み込み、チームが独自のコンピューティングリソースを持ち込めるようにするとともに、企業全体の既存のコンピューティングインフラストラクチャと連携してオーケストレーションを行うための豊富なインターフェースを提供します。

このオープン性は生成 AI にも及び、Model Catalog を通じて幅広い LLM が利用可能で、カスタムモデル、ファインチューニング済みモデル、既存の企業モデルを簡単に登録できます。

さらに Palantir Apollo により、これらすべての側面にわたる柔軟性は、基盤となるインフラストラクチャのプロバイダーに依存せず、最前線の現場で求められる最も厳しい要件に応えて絶えず進化し続けます。

MMDP の理念：「あらゆるデータ、あらゆるコンピューティング、あらゆるモデル、あらゆる場所。」