お知らせ

コードリポジトリ開発体験の改善

公開日：2023年9月21日

Palantir Foundryのコードリポジトリアプリケーションの開発体験が、以下の改善により最適化されました：

• Task Runner、新しいコードリポジトリ機能 は、ユーザーが install、formatCode、tasks、whoneeds などのサポートされるコマンドを実行できるようにします。Task Runnerが有効になると、左パネルのライブラリタブからパッケージを追加すると、Code Assistワークスペースを新たにプロビジョニングするのではなく、要求されたパッケージが現在の環境の上にインストールされるようになります。この段階で生成される追加のログは、デバッグが必要な場合の明確さを提供します。また、複雑なフィルターとプレビュー入力設定インターフェースが、使いやすさを向上するために改善されました。

Task Runnerを使用してパッケージを追加およびインストールします

複雑なフィルターとプレビュー入力設定インターフェースの改善

• Pythonでの開発がさらに速くなります：平均的に、クラウド環境でのチェックが20〜30秒早くなりました。初期チェックは、新しいリポジトリの作成時に追加されたロックファイルの恩恵を受けています。ライブラリのインストールが全体的に速くなり、ユーザーはパッケージを後でインストールするために追加したり、Condaや現行の実行環境でワークスペースを再作成せずにパッケージをインストールすることができます。このステップの一部としてテスト環境は更新されません。
• 作成物の速度向上：Code Assistはキャッシュを保持し、環境に変更がない場合にチェックを高速化できます。ZSTD圧縮サポートが作成物とMambaに拡張され、これにより環境の解決とインストールが以前よりも速くなりました。
• 非Linuxローカル開発体験の改善：すべてのリポジトリの作成物バックアップリポジトリとして conda-forge を追加しました。さらに、noarch Pythonライブラリテンプレートにより、開発者はクロスプラットフォームライブラリの作成と管理が容易になります。
• Pythonフォーマットのサポートを追加：コーディングスタイルの一貫性を保つために、black と ruff のリンターの間で選択できます。
• 関連設定の自動生成：vscode gradleタスクをローカルで実行できるようになりました。
• macOSとWindowsでのローカル開発サポートを強化：gradleを介したローカルプレビューがサポートされています。また、リポジトリのアップグレードとCode Assistのフロントエンドが合理化されました。
• Spark Preview Loaderの最適化：最大1M行（以前は10k）のプレビューが可能になり、ロード時間が4-5倍に速くなりました。
• チェックログ内でのナビゲーションが容易に：チェックログ内から直接buildRIDsを選択してジョブトラッカー内のビルドに直接移動します。

Ontology SDK（TypeScriptおよびDeveloper Console）[GA]、Python SDK [Beta]

公開日：2023年9月19日

Ontology SDK（OSDK）のTypeScript版と新しいDeveloper ConsoleアプリケーションがすべてのスタックでGAとなりました。Python SDKは現在ベータ版であり、2023年10月末までにGAになる予定です。

Ontology Software Development Kit（OSDK）を使用すると、開発環境から直接Ontologyの全機能にアクセスできます。Developer Consoleという新しいポータルを使用してOntology SDKを生成できます。このポータルでは、Palantir APIを使用してサードパーティアプリケーションを作成および管理できます。詳細と手順については、公開ドキュメントをご覧ください。

Ontology SDKとDeveloper Consoleとは何か？

Developer Consoleは、Ontology APIへの直感的なアクセスのためのOntology SDKを生成する新しいアプリケーションです。SDKはTypeScriptのNPMパッケージとして、またPythonのPyPi/Condaパッケージとして（ベータ版）生成できます。Ontology SDKパッケージには、Developer Consoleで開発者によって定義されたOntologyからのエンティティのみが含まれます。

開発者はOntology SDKを使用して、Ontologyから簡単に読み取ったり、Actionsを介してFoundryに書き戻したり、Ontology Functionsを実行したりすることができます。SDKを使用すると、APIとの対話が型安全になります。

開発者はその後、Foundryをバックエンドとして効果的に扱うことができ、Foundryが提供するインフラストラクチャと中央のOntology管理に依存し、組織固有のアプリケーション開発により集中することができます。

コードエディタでFoundry Ontologyリソースを統合するOntology SDKを示すGIF

なぜOntology SDKを使用するのか？

• 開発の加速：OSDKはOntology APIへの直感的なアクセスを可能にし、数行のコードでOntologyに読み書きできます。
• 強力な型安全性：OSDKのために生成される関数と型は、開発しているOntologyの選択された部分集合に基づいています。すべてがユーザーのOntologyから引き出されるため、エディタでデータをクエリし、探索することができます。
• 集中化されたメンテナンス：FoundryでOntologyが中央で構築および管理されていることを利用し、アプリケーションの構築に集中し、アプリケーションのデータ基盤の構築および維持に重複した労力を投資することなく、アプリケーションをビルドすることができます。
• チーム間の認識：Developer Consoleを使用すると、アプリケーションがネイティブのSlateまたはWorkshopアプリのようにFoundryの由来システムに表示されるため、アプリケーションに影響を与えるOntologyの変更をその影響に基づいて評価できます。
• 設計からのセキュリティ：OSDKは、アプリケーションがアクセスすることを望むOntologicalエンティティのみにスコープが限定されたトークンで生成されます。

どのように使用するのか？

Ontology SDKは、Palantir APIを使用して構築されたアプリケーションを作成および管理できる新しいFoundryツールであるDeveloper Consoleを通じて生成されます。ワークスペースのナビゲーションバーにあるアプリケーションポータルからDeveloper Consoleを開くか、CMD + J（MacOS）またはCTRL + J（Windows）を使用して検索します。

アプリケーションポータルでDeveloper Consoleを検索します。

Ontology SDKとDeveloper Consoleはすべてのエンロールメントで利用可能になりますが、コントロールパネルで無効にするか、Access applications ページで特定のグループに対して細かいアクセスを設定することで、Developer Consoleの使用を選択できます。

Ontology SDKとDeveloper Consoleの使用方法についてのドキュメンテーションが利用可能であり、異なるアプリケーションワークフローのウォークスルーが含まれています。また、公開リポジトリにあるTypeScript/Reactベースのスターターアプリケーションがあり、始めるのに役立ちます。

Developer Consoleは、選択したOntologyエンティティに基づいて各アプリケーションのカスタムドキュメンテーションを提供します。

Developer ConsoleでのAircraftオブジェクトタイプのAPIドキュメンテーションの表示

開発ロードマップには何があるのか？

• Python SDK：最近、Python SDKパッケージのベータサポートを発表し、10月までにGAに向けて作業を進めています。
• 追加機能：Foundryの機能をさらにSDKに追加する作業を進めており、デプロイされたモデルと大規模言語モデル（LLM）をFoundry LMSを通じて含める予定です。

Sensitive Data Scanner [Beta]の導入

公開日：2023年9月19日

Sensitive Data Scanner（SDS、旧称「Foundry Inference」）は、組織がPalantir Foundryデータセット内の機密データを発見し、保護するのに役立ちます。ベータ版で利用可能になり、ガバナンスユーザーはSDSを使用して、識別するための機密データのパターンを指定し、一致するデータが見つかった場合の自動アクションを決定します。また、ユーザーは、正確にスキャンの追跡と監視を行うために、更新されたインターフェースを利用できます。

ランディングページインターフェースの改善

Sensitive Data Scannerのランディングページには、スキャンの状態の要約として機能するプログレスバーが含まれています。このカラーコード化されたバーは、スキャン待ちのデータセットの総数に対する特定の条件に一致するデータセットの数に比例して充填されます：

• 青色：現在スキャン中または保留中のデータセット。
• オレンジ色：条件に一致するデータセット。
• 緑色：条件に一致しないデータセット。
• 赤色：スキャンが失敗またはスキップしたデータセット。
• 灰色：キャンセルされたスキャン。

さらに、各スキャンアイテムの右側のドロップダウン矢印を選択することで、特定のスキャンの下で各データセットの分類を簡単に確認できます。

ファイルの異なるカテゴライゼーションを示すワンタイムスキャンの詳細ビュー

スキャンの計算時間を見積もる

ユーザーは、Sensitive Data Scannerでスキャン待ちのデータセットの数を確認し、スキャンにどのくらい時間がかかるかの見積もりを提供します。必要に応じてスキャンの範囲を見直すことを奨励します。

スキャンの設定の最終ステップでは、スキャンされるデータセットの数を表示し、ユーザーにワンタイムスキャンまたは定期スキャンを作成するオプションを提供します。

AIPでregexマッチ条件を生成する

AIP（スタックでAIPが有効になっている場合）を使用して、自分でregexを書くことなく、正規表現マッチ条件を生成できるようになりました。この機能を使用するには、望ましいデータ形式を説明する自然言語プロンプトを提供し、ワンタイムスキャンを作成する際のSelect match conditionsステップでGenerateを選択します。

ユーザーがAIPを使用してメールアドレスのregexマッチ条件を生成する

詳細情報については、Sensitive Data Scannerのドキュメンテーションをご覧ください。

Pythonリポジトリのチェック改善が有効になりました

公開日：2023年9月19日

FoundryスタックのPythonリポジトリ全体のチェックパフォーマンスがターゲット指向の改善で更新されました。特に、内部スタックのすべてのPythonジョブの平均P95チェック完了時間（チェックを開始から終了までに実行する時間）は、2023年3月の2分15秒から、2023年6月には約1分15秒に減少し、44.4%の減少となりました。

より高速なチェックのための改善

私たちが最近行ったチェック効率の改善には、以下の更新が含まれています。

Conda パックの Zstandard (ZST) 圧縮

以前は "gzip 圧縮" でしたが、ZST が実装され、conda-pack のための、はるかに高速な圧縮と解凍が可能になりました。これは、ユーザーのチェックで condaPackRun と/または condaPackTest タスクを実行するために不可欠です。

平均 P95 チェック完了時間を示すチャート (2023 年 3 月の 2m 15s から 2023 年 6 月には約 1m 15s に減少)

Jemma 管理のキャッシュはもう二重圧縮されません

私たちのチェックランナーである Jemma は、もはやファイルを二重に圧縮しません。代わりに、ファイルは ZST を使用して圧縮され、リソースの使用量と CPU 時間の減少を実現しています。

二重圧縮を避け、zst を使用してキャッシュディレクトリを圧縮することで、圧縮速度が大幅に向上しました (20MB/s → 80MB/s)。以下に示すのは、キャッシュディレクトリを圧縮し、圧縮されたファイルを保存するのにかかる時間です。

より速い Gradle Conda タスク

以下の一般的なタスクは、基本的な Docker イメージを活用し、指示されたところで Gradle タスクを更新することで、より高速に実行されます：

• condaInfo：チェックを実行するために使用される Docker イメージに Conda インストーラーをバンドルします。
• setupPythonEnv：チェックに使用される Docker イメージに、サポートされている Python バージョン（メジャーとマイナー）の Conda インストーラーをバンドルします。
• vscode：Gradle の @InputFiles から @Input に切り替えることで、タスクの実行時間を 13 秒から 1 秒未満に短縮します。

Conda パックのカスタム Gradle キャッシュ

カスタム Gradle キャッシュを使用して、Conda パックの二重圧縮を引き起こす非効率性を避け、計算時間の無駄と全体的なパフォーマンスの低下を引き起こします。この改善は、作成物キャッシュレイアウトが使用に基づいてエントリの TTL を更新する能力からも利益を得ています。

以下は、早期のプロトタイプからのチャートで、私たちのカスタムキャッシュ機構を使用してタスクを実行するのに必要な時間を示しています。環境が大きくなるにつれて、例えばモデリング関連のパッケージのような場合、改善はより大きくなることに注意してください。

開発ロードマップの次は何ですか？

現在、Code Assist の起動を速くし、テスト環境の解像度とインストールを改善するための強化に取り組んでいます。

Foundry でのセマンティック検索のサポート導入 [ベータ]

公開日：2023-09-11

この機能は現在一般に利用可能です。最新の発表 をご覧ください。

---

追加のハイライト

ソースコントロールが有効化され、新しい機能フラグ、およびマイナーな変更

公開日：2023-09-28

[Data Integration/Code Repositories] Code Repositories のユーザーは、ファイルの変更を表示し、それらをリモートリポジトリにコミットすることができる新しいパネルであるソースコントロール機能にアクセスできるようになりました。関連するハイライトで詳細を学んでください。

S3 互換 API が正式リリースされました

公開日：2023-09-26

[Foundry S3 Proxy] Foundry データセットの S3 互換 API が一般公開されました。資格情報を取得する API は安定しており、現在では一時的な資格情報だけでなく、静的な資格情報も使用できるようになりました。この API の使い方や、標準の AWS クライアントや SDK との使用方法の詳細と指示については、ドキュメンテーションをご覧ください。

Ontology Manager で設定可能な編集専用プロパティ

公開日：2023-09-26

[Ontology/Ontology Management] ユーザーは、Ontology Manager で OSv2 のオブジェクトタイプの編集専用プロパティを設定できるようになりました。これらのプロパティは任意の行に紐づけられず、アクションを通じてのみその値を取得できます。これにより、オブジェクトタイプの管理における柔軟性が向上します。

Foundry Rules の新しいホームページとセットアッププロセスの合理化

公開日：2023-09-26

[Ontology/Foundry Rules] Foundry Rules は、データ変換パイプラインにシームレスに接続するルールベースのロジックをユーザーが作成することを可能にします。

Foundry Rules アプリケーションの新しいホームページにアクセスして、ワークフローのセットアップと設定を見てみてください。新しい Rules ワークフローのセットアップは Foundry Marketplace によって動力を得ており、初期設定が少なくても、より早く価値を提供します。

また、Files から Rules ワークフローの設定を選択して Foundry Rules にアクセスすることもできます。

Foundry Rules ワークフロー概要リスト

提案レビュー機能の強化

公開日：2023-09-26

[Data Integration/Pipeline Builder] ユーザーは、提案のレビューにコメントを追加できるようになりました。これにより、メッセージとともに承認したり、理由をつけて提案を拒否したりすることが可能になりました。この更新により、レビュープロセス中の柔軟性とコミュニケーションが向上します。

Ontology Management の Phonograph のインデックス解除カウントダウン

公開日：2023-09-26

[Ontology/Ontology Management] Ontology Management アプリは、オブジェクトタイプと多対多リンクタイプの Phonograph セクションで、未使用のテーブルの自動デインデックス化のカウントダウンを表示するようになりました。この機能により、ユーザーは自動デインデックス化が行われるまでの残り時間を把握するのに役立ちます。

Pipeline Builder の AIP Generate が一般公開

公開日：2023-09-26

[Data Integration/Pipeline Builder] AIP Generate が Pipeline Builder で一般公開となり、ユーザーは単一のプロンプトで新しいデータ変換ロジックを作成できるようになりました。この機能により、複雑なデータ変換のプロセスが簡素化され、生成されたロジックの透明性と可読性が維持されます。

Notepad テンプレート用の値埋め込みウィジェットの導入

公開日：2023-09-13

[Analytics / Notepad] 値埋め込みウィジェットを使用すると、ユーザーはテンプレート入力からテキストを直接ドキュメントに挿入することができます。ユーザーは値埋め込みウィジェットを Notepad テンプレートに追加し、それを文字列テンプレート入力で設定できます。ドキュメントがテンプレートから生成されると、ウィジェットの代わりにテキストが挿入されます。値埋め込みウィジェットについて詳しく学ぶ。

2つの値埋め込みウィジェットを持つ Notepad テンプレートの画像

Quiver AIP の使いやすさの改善

公開日：2023-09-13

[Analytics/Quiver] AIP ウィンドウは次のアクションメニューから削除され、現在はフローティングで、ドラッグ可能で、サイズ変更可能なモーダルウィンドウになっています。この更新により、プロンプトを書きながらオブジェクトセットのプロパティとキャンバス上の可視化を見続けることができます。ユーザーのプロンプトの処理は AIP ウィンドウが最小化された状態でバックグラウンドで行われ、結果を待つ間にユーザーはワークフローを続けることができます。さらに、AIP ボタンの名前が変更され、その機能をより正確に反映するようになりました。AIP Generate は分析にカードを生成し、AIP Configure はカードの設定を更新します。

ランタイム中に最小化された Quiver AIP

新しい Quiver AIP モーダルウィンドウ

AIP 次のアクションの提案とプロンプトの完成

公開日：2023-09-13

[Analytics/Quiver] AIP ウィンドウには、そのプロパティと Quiver カードが AIP をサポートしていることに基づいて、オブジェクトまたはオブジェクトセットに対して可能な次のアクションの提案が含まれています。また、プロンプトを入力するとき、AIP はプロンプトの完成可能な提案を表示します。これらの機能は、ユーザーが AIP を使用してオントロジーデータを探索し分析する新たな機会を発見するのに役立ちます。

選択されたオブジェクトセットに対する AIP の提案次のアクションを強調表示した AIP モーダルウィンドウ

プロンプトの完成を強調表示した AIP モーダルウィンドウ

Pipeline Builder のユーザー定義関数

公開日：2023-09-13

[Data Integration / Pipeline Builder] ユーザー定義関数を使用すると、Pipeline Builder または Code Repositories で独自の任意の Java コードを実行でき、バージョン管理やアップグレードが可能になります。外部の Java ライブラリを取り込んだり、パイプライン全体で複雑なロジックを再利用したりするための独自のユーザー定義関数 (UDF) を作成できます。Pipeline Builder で UDF を有効にするには、Palantir の担当者に連絡してください。私たちのドキュメンテーションで詳細を学んでください。

Quicksearch が唯一のサポートされる検索インターフェースになりました [Quicksearch GA / Legacy search Deprecation]

公開日：2023-09-11

[Quicksearch] 広範囲にわたる利用可能性の後、Quicksearch は現在、Foundry の唯一の検索インターフェースとなっています。7月に積極的に発表された通り、従来の検索インターフェースは廃止されました。移行期間中に新しい検索体験をオプトアウトしたユーザーは、現在 Quicksearch に統合されます。Quicksearch documentation および Quicksearch GA announcement をご覧ください。

アクセスグラフが利用可能になりました

公開日：2023-09-05

[Security / Projects] グラフベースのビュー、通常はアクセスグラフとして知られているもの、を使用して、プロジェクト、ユーザー、グループ、マーキングなどのエンティティ間の関係を視覚化できるようになりました。これにより、権限のチェックが簡単になります。詳細については、権限の確認ドキュメンテーションを参照してください。

Quicksearch がリソースセレクターと統合されました

公開日：2023-09-05

[Model Integration: Workspace] リソースセレクターでの Quicksearch 統合により、ユーザーはパネルのロードを待つことなく、より迅速にリソースを検索できるようになりました。名前に基づいて結果が取得され、検索の関連性によってランク付けされるため、Quicksearch バーはナビゲーションを合理化しながら、完全な検索を行うオプションを提供します。

Resource Management を使用して予算を作成します

公開日：2023-09-05

[Administration: Resource Management] Resource Management アプリケーションの Budgets タブを使用して、コンピューティング使用量に対する金融予算を作成します。

パイプラインの共同作業のためのカスタム承認ポリシー

公開日：2023-09-05

[Data Integration: Pipeline Builder] パイプライン提案のためのカスタム承認ポリシーを導入し、ユーザーが設定可能な個人またはグループのリストからレビューを必要とするようにすることができます。バージョン管理を強化し、メインブランチに影響を及ぼす変更をゲートすることで、安全に生産パイプラインで共同作業を進めることができます。ポリシーを設定する際には、なし、権限ベース（編集）、カスタムポリシー（グループとユーザー）の間で選択します。

Ontology ホームページのお気に入りセクション

公開日：2023-09-05

[Ontology: Ontology Management] Ontology ホームページに新しい Favorites セクションを導入し、すべてのお気に入りのオブジェクトタイプを簡単にアクセスできるように表示します。ユーザーはこのセクションを必要に応じて並べ替えたり無効化したりできます。お気に入りのオブジェクトタイプがある人に対しては、デフォルトで有効になります。