注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
お知らせ
Pipeline Builder：迅速な開発のための機能
公開日: 2023-04-28
今年の初めに、データを高速かつ柔軟に、スケーラブルに加工する次世代のアプローチとして Pipeline Builder ↗ を発表しました。それ以来、ユーザーのフィードバックに基づく強力な新機能の提供に取り組んできました。また、Pipeline Builder には過去3か月間で、ジオメトリ関数、タイムスタンプのパースの改善、複雑な結合条件など、70個以上の新しいデータ加工が追加されました。見逃しているかもしれない Builder の新機能を、この先でご紹介します。
カスタム関数で再利用可能なロジックを一元化
コピーして貼り付けることなく、パイプライン全体で共通のロジックを再利用できます。1個以上のボードを選択し、引数を定義したカスタムデータ加工に変換して、必要に応じて再利用します。ロジックを1回更新すると、パイプライン内でその関数を使用しているすべての箇所に適用されます。更新版のドキュメントは近日公開予定です。
for ループ形式の関数で反復ロジックを簡略化
重複するロジックを減らす取り組みの一環として、Pipeline Builder では操作や集計をまとめ、複数の列に動的に適用できるようになりました。この柔軟性により、標準的なデータクレンジングや正規化のロジックで必要だった、手間のかかる重複した設定を大幅に削減できます。さらに、前述の再利用可能な関数と組み合わせることで、分析や業務利用に向けて生データを準備する際に頻繁に繰り返されるロジックを、高速かつ効率的に、保守しやすい形で管理できるツールとして Pipeline Builder を活用できます。
インクリメンタル（差分処理）ロジックのサポートでデータパイプラインを高速化し、コストを削減
利用可能な最新のデータだけを加工すればよい場合、インクリメンタルパイプラインは、より高速で低コスト、かつ洗練されたソリューションです。しかし、これらのパイプラインのロジックや複雑さをコードで管理することが、こうしたメリットを享受するうえでの障壁となっていました。 今回、Pipeline Builder でワンクリックするだけで、パイプラインをインクリメンタルに設定できるようになりました。アプリ内のガイダンスで基本概念が明確に説明され、追加の設定は不要です。従来の課題の多くにも対応しています。Pipeline Builder は、論理的なデータ加工をインクリメンタルパイプラインに適用可能なものだけに制限し、破壊的変更を検出すると、ロジックの再実行または修正を求めるダイアログをユーザーに表示します。これにより、予期しないスナップショットを防ぎます。これらの追加機能によって、この強力な機能群をより手軽に利用できます。詳しくは、Pipeline Builder でのインクリメンタル計算の例を参照してください。
手動入力テーブルの仮想データですばやく開発を始める
パイプラインの開発を始めるために必要なデータを取得するまでに、数週間から数か月かかることがあります。また、パイプラインを構築した後も、随時変更が必要になることがあります。パイプラインの開発プロセスには、ビジネス要件の変更にいつでも対応できる柔軟性が求められます。今回、手動入力テーブルを追加し、バッチパイプラインの一時的な入力として仮想データを柔軟に生成できるようになりました。本番データが利用可能になったら、ワンクリックでパイプライン内のノードを置き換えるだけです。 さらに、仮想データとそれに関連するパイプラインを、複数のオブジェクトタイプを持つオントロジーの v0 の元データとして使用すれば、データへのアクセスを待つことなく、業務アプリケーションのプロトタイプをすばやく作成し、スキーマやデータモデルの改善を繰り返せます。
オブジェクトモニター：ユーザーとグループをフォロワーに追加する
公開日: 2023-04-24
オブジェクトモニターはデータに対して実行され、ユーザーが個々の検索やオブジェクトを追跡できるように設計されています。また、アプリケーションの開発者が、Foundry で構築するアプリケーションに監視機能やアラート機能を組み込むためのツールとしても利用できます。
ユーザーがヘルスチェックやモニターを設定する際、障害発生時のアラートを必要とするのは、設定した本人だけとは限りません。特に大規模な組織では、特定のワークフローを担当するサポート当番や専任チームが存在する場合があります。今回、業務アプリケーションを設定する開発者が、ユーザーにアラートを手動でフォローするよう個別に依頼する必要がなくなりました。代わりに、個々のユーザーやグループをアラートに追加できます。これにより、業務ワークフローの可能性が大きく広がります。たとえば、待望の機能として、共有の受信トレイアプリケーションを設定し、受信トレイにデータを供給するオブジェクトセットに新しいオブジェクトが追加されたときに、グループがアラートを受け取るようフォローさせることができます。
リソースへのアクセス権がないユーザーは、権限を持つユーザーがそのユーザーをフォロワーに追加しても、アラートを閲覧できない点に注意してください。
設定
フォロー管理タブでは、ユーザーとユーザーグループを追加し、フォローできるアラートの重大度を設定できます。通知設定に応じて、モニターがトリガーされた際に、ユーザーはプラットフォーム内の通知やメール通知を受け取ります。近日中に、通知は PagerDuty との直接統合をサポートする予定です。
Workshop：マップとグラフを保存してアタッチする
公開日: 2023-04-24
Workshop の Vertex ウィジェットでは、テンプレートからグラフを生成した後、Vertex アプリケーション全体を開かなくても、Workshop から直接グラフを保存できるようになりました。同様に、Map アプリケーションのテンプレートウィジェットを使用すると、テンプレートから生成したマップを Workshop から直接保存できます。
ウィジェットの設定では、保存したリソースの新しいリソース識別子（RID）が文字列変数として取得されます。この変数は、ユーザーが新しいマップやグラフを保存するたびに実行されるよう設定したアクションに、パラメーターとして追加できます。このパターンでは、RID をプロパティとして保存することで、オントロジー内でマップやグラフを表現できます。その後、Workshop の Vertex ウィジェットと Map ウィジェットの新しい「リソース RID をオーバーライド」設定を使用して、アプリケーションのユーザーに表示できます。
次の一般的なパターンは、
- テンプレートリソースを設定します
- ワークフロー内でテンプレートの複製をユーザーに促し、複製されたリソースをウィジェットに埋め込み、ユーザーが変更できる Workshop アプリを設定します
- アクションを使用して、新しいリソースの RID をオブジェクトタイプのプロパティとして取得します
標準的なプロセスを伴う多くの業務ワークフローに適しています。Vertex のグラフや Map のテンプレートに加えて、標準文書を複製してから記入する必要がある場合には、Notepad のテンプレートもこのパターンに適しています。 これらの機能は、各ウィジェットの設定の「機能」セクションにある「保存」見出しの下で利用可能です。Vertex の詳細については Vertex のドキュメントを、Map の詳細については Map アプリケーションのドキュメントを参照してください。
Quiver：データの検索と分析がより簡単に
公開日: 2023-04-18
Quiver は、豊富なツールと機能を備えた、データ分析、レポート作成、ダッシュボード構築のための強力なアプリケーションです。Foundry に習熟したユーザーにも初めて使うユーザーにも、より直感的に利用していただけるよう、ユーザーインターフェースの変更をお知らせします。これらの変更により、データの検索が簡単になり、変換、結合、フィルター、可視化などのインタラクションを見つけやすくなります。また、データ変換によって生じるデータ型の変更も明確になります。
次のアクションメニューの改善
目的の操作を見つけやすくするために、次のアクションメニューを再編成しました。このメニューは、カードや時系列プロットにカーソルを合わせると表示されるようになりました。新しいカテゴリーは、データ型ではなく、各カードの機能でグループ化されています。データを操作するためのすべてのカードに、次のアクションメニューまたは上部バーのカードを検索ボタンからアクセスできるようになりました。 また、次のアクションバーで検索できるようになりました。すべてのカテゴリーを対象に、または特定のカテゴリー内でアクションを検索できます。検索結果には、そのカテゴリー内の一致するアクションが含まれるほか、ほかのカテゴリーの一致するアクションも強調表示されるため、アクションを見逃さずに済みます。
データの変換がより直感的に
次のアクションメニューに、新しいカテゴリーとしてトランスフォームを追加しました。この新しいカテゴリーには、変換テーブルに適用できるすべての変換が含まれています。これらは以前、変換テーブルカードをキャンバスまたはグラフに追加した後でのみ利用できました。このカテゴリーから変換を追加すると、変換テーブルが自動的に追加され、選択した変換が適用されるため、分析ワークフローが効率化されます。
データの追加を中心に上部バーのメニューを簡素化
分析メニューを簡素化し、データの追加を重視した構成にしました。引き続き、カードを検索ボタンで、利用可能なすべてのカードを検索できます。この再設計により、Quiver 全体でデータを追加する際の操作も統一され、分析にデータを取り込むたびに、使い慣れた一貫性のある操作ができます。
カード間のデータ型の変更をより明確に表示
分析への入力はオブジェクトと時系列データですが、Quiver の強力な変換カードを使うと、あらゆるデータ型のデータを操作、導出できます。分析の設定時に読み取りやすくするため、すべてのカードで、操作対象のデータ型が省略されていない完全な名前で明確に表示されるようになりました。これにより、カードの操作によってデータ型が変わり、その結果、出力カードで利用可能なアクションが変わるタイミングが明確になります。 さらに、次のアクションまたは検索の選択画面でカードを選ぶ際に、カードの名前と説明の横に入力と出力のデータ型が表示されます。
Control Panel：ネットワークイングレスを設定する
ネットワークのイングレス許可リスト [1] を設定する機能が、Control Panel のネットワークイングレスタブで利用可能になりました。これにより、Foundry 管理者がセルフサービスで設定できるようになりました。以前は、これらの許可リストの設定を Palantir のエンジニアと共同で管理していました。設定を Control Panel に移したことで透明性が高まり、情報セキュリティ責任者またはエンロールメント管理者のロールを持つアカウントは、Palantir サポートに依頼せずに許可リストを管理できるようになりました。ほとんどの Foundry エンロールメントでは、既存の許可リストの設定が自動的に移行されています。
この新しい機能についてご質問がある場合は、Palantir サポートにお問い合わせください。
Resource Management：通貨
公開日: 2023-04-14
Resource Management アプリでは、プラットフォーム全体のリソース使用量が、デフォルトで通貨額として表示されるようになりました。つまり、使用量は GB-months や cpu-seconds のような技術的な単位ではなく、現地通貨で表示されます。これにより、プラットフォームの異なる技術的な単位間で相対的な支出を比較しやすくなり、リソース使用量が実際のコストにどのように換算されるかを、より直感的に把握できます。
Resource Management アプリケーションへのアクセスは、リソース管理閲覧者ロールで制御されている点にご注意ください。このロールは、Control Panel > エンロールメント権限の設定で管理できます。リソース使用量の通貨ベースの表示は、一部の Foundry エンロールメントでは利用できない場合があります。ご質問がある場合は、Palantir の担当者にお問い合わせください。
Slate：Slate デバッガーのご紹介
公開日: 2023-04-10
Slate で、数百ものウィジェット、クエリ、関数、イベントからなる大規模なアプリケーションを構築すると、複雑さは避けられません。このようなアプリケーションで予期しない動作が発生すると、入り組んだ依存関係をたどり、関数のエッジケースや複雑なイベント処理ロジックにある根本原因を見つけるのは困難です。
新しい統合デバッガーにより、依存関係グラフは、極めて複雑な Slate アプリケーションの内部動作も調査できる、さらに強力なツールになりました。依存関係グラフの実行にブレークポイントを設定し、依存関係が解決される途中の段階を把握できるようになりました。
ブレークポイントとデバッガーの詳細、および Slate アプリを調査する際のベストプラクティスについては、ドキュメントを参照してください。
Modeling Objectives：モデル運用2.0
公開日: 2023-04-04
AI/ML モデルのエンドツーエンド管理
Modeling Objectives は、Foundry 内で ModelOps ↗ のライフサイクルを進む ML/AI モデルを管理するための Palantir Foundry アプリケーションです。Modeling Objectives が更新され、Foundry でのモデルの管理、評価、リリースがよりシンプルになりました。これにより、チームは課題に最適なモデルのプロトタイプ作成、トレーニング、統合により集中できます。
Modeling Objectives アプリケーションを使用すると、データサイエンスおよびエンジニアリングチームは次のことができます。
- モデリングプロジェクトで共同作業する
- モデル評価パイプラインを定義し、自動化する
- すべての候補モデル、そのパフォーマンスメトリクス、およびモデルレビューを登録し、追跡する
- モデルのアップグレードに対応した充実した変更管理機能を使って、ライブのインタラクティブまたはバッチデプロイ環境にモデルを簡単にデプロイする
ノーコードのモデル評価またはローコードの評価ライブラリ
Modeling Objectives アプリケーションでは、登録されたすべてのモデルに対して、コードを記述せずに推論およびメトリクスのパイプラインを自動で生成し、ビルドするように設定できるようになりました。これは、回帰や二値分類などの一般的なモデリング課題向けのデフォルトの評価ライブラリを使用することで実現します。
これらのライブラリを使用すると、チームは体系的なモデル評価の仕組みを定義し、すべてのモデルが一貫した方法で評価、比較されるようにできます。これにより、モデルを正確に比較でき、実環境での結果が向上します。モデル評価ライブラリの導入により、Foundry で再利用可能でパラメーター化できる評価ライブラリを作成できるようになりました。これらのライブラリを使用すると、データサイエンスチームはほかのモデリング分野でも、あるいはチーム、組織、課題に固有のカスタムメトリクスを使って、自動モデル評価を活用できます。
モデルのパフォーマンスを詳細に比較する
Modeling Objectives に Model Evaluation Subsets が導入されます。評価データを細かく分けたサブセット間で比較できるようにすることで、評価メトリクスを大幅に拡張します。
これにより、モデル開発者は次のことができます。
- モデルのパフォーマンスが低い箇所をすばやく特定し、開発の取り組みを集中させる
- モデルを使用できる業務上または組織上の状況を適切に判断する
- 本番環境のモデルが異なるクラスのデータに対して公平に動作することを確認し、記録する
- Model Evaluation Subsets は、追加のコードを必要とせず、モデルのパフォーマンスを独自の視点から捉えられるようにすることで、モデル評価を強化します
Modeling Objective Checks
モデルのテストや評価は必ずしもすべてが定量的ではないことを踏まえ、Modeling Objective Checks を使用して、分野の専門家による統合されたレビュープロセスを支援し、本番環境への移行前にモデルを承認または拒否できるようになりました。
Modeling Objectives はどのようなときに使用しますか？
Modeling Objectives を使用すると、データサイエンティスト、エンジニア、およびそのチームは、アドホックなモデル開発を、本番環境に対応し、ガバナンスが確保され、業務で運用できるワークフローへと簡単に移行できます。
モデリング目標を設定し、特定の分野やユースケースに関連するメトリクスに基づいてモデルを一貫した方法で評価、比較する方法については、モデル統合およびモデルをレビューするのドキュメントを参照してください。
その他の注目ポイント
管理 | Control Panel
サードパーティアプリケーションへの組織レベルの同意を設定する | デフォルトでは、サードパーティアプリケーションがユーザーに代わって Foundry データにアクセスする前に、そのアクセスについてサードパーティアプリケーションへの同意を求める画面がユーザーに表示されます。OAuth 2.0 クライアントを管理する権限を持つ組織管理者は、組織のすべてのユーザーに代わってこの同意を行えるようになりました。これは、ユーザーが Foundry を直接操作することを想定していないアーキテクチャに適している場合があります。組織レベルの同意の設定方法を含む詳細は、Foundry とサードパーティアプリケーションをご覧ください。
管理 | Resource Management
すべての環境に通貨表示をリリース | Resource Management アプリでは、リソース使用量のデフォルトの表示が通貨になりました。これにより、使用量は技術的な単位（GB-months、CPU-seconds など）ではなく、通貨（USD、GBP など）で表示されます。使用量を通貨で表示すると、技術的な単位間で支出を相対的に比較できます。Foundry エンロールメントでは、使い慣れた共通の単位であるコストを使って、プラットフォーム全体の支出の内訳を把握できるようになりました。
分析 | Contour
新しいボードリボンをすべての場所で有効化 | ボードの検索と発見がより目立つように、ボードリボンを再設計しました。ボードリボンのどのカテゴリーを開いても、ボードを検索でき、ほかのカテゴリーのボードも見つけられるようになりました。
分析 | Quiver
Quiver の変換テーブルの改善 | 入力となる変換テーブルを選択するドロップダウンに、2つの改善を導入しました。1. 自動変換： 分析内の利用可能な変換テーブルに加えて、分析の内容に含まれる、変換テーブルに変換できるすべてのエンティティも表示されるようになりました。これらのいずれかを選択すると、選択したエンティティから変換テーブルが自動的に作成され、入力として選択されます。2. オブジェクトタイプ： 「オブジェクトセットを追加」ボタンも追加しました。このボタンを使うと、その場でオントロジーからオブジェクトタイプを選択してオブジェクトセットを作成できます。そのオブジェクトセットから変換テーブルも自動的に作成され、選択されます。これらの変更は、設定で変換テーブルが必須の入力となっている場合に、操作に行き詰まるユーザーを支援することを目的としています。
Quiver の次のアクションメニューの更新 | カードを見つけやすくするために、次のアクションメニューを再編成しました。データを操作するすべてのカードに、次のアクションメニューから、または上部バーの「カードを検索」ボタンを使ってアクセスできるようになりました。新しいカテゴリーは、カードのデータ型ではなく、カードの機能でグループ化されています。カテゴリーは、フィルター、可視化、計算、結合、変換、形式変換です。
アプリ構築 | Slate
依存関係グラフで Slate の内部変数を見つける | sl_user_storage や $global などの Slate の内部変数が、依存関係グラフに表示されるようになりました。
Slate でカスタムウィンドウタイトルを設定する | slate.setFavicon アクションを呼び出すことで、カスタム favicon を設定できるようになりました。
ロケールのグローバル変数を追加 | $global.locale 変数を使って、ユーザーが Foundry セッションで設定した言語にアクセスできるようになりました。
閲覧者権限で Slate アプリを複製する | Slate アプリケーションの複製に必要な権限は、閲覧者権限のみになりました。右上のアクションドロップダウンからアプリケーションを複製できます。
データ統合 | Pipeline Builder
提案への Markdown テンプレートの追加とブランチ設定の並べ替え | パイプラインの所有者は、提案する変更のための Markdown テンプレートを追加できるようになりました。テンプレートを設定すると、各提案リクエストの body フィールドにテンプレートが含まれ、ユーザーが記入できるようになります。提案テンプレートは、ブランチ設定の表示に新しく追加された提案 Templateタブで閲覧および編集できます。
オントロジー | Foundry Rules
Taurus から Foundry Rules へのアップグレードを支援するウィザード | Rules アーキタイプの V2 では、設定を一元化して簡素化し、Foundry Rules のセットアップの保守と更新をより安全かつ迅速に行えるようにしています。この更新では、Taurus とも呼ばれる V1 Rules アーキタイプのデプロイを、新しい V2 Rules アーキタイプに移行するためのアップグレードアシスタントを導入しています。使用方法をご覧ください。
Foundry SQL Server：コネクター
Foundry データセット用の MicroStrategy コネクター | MicroStrategy 分析プラットフォームのユーザーは、MicroStrategy 認定コネクターを使って、レポートやドシエで Foundry データセットにアクセスできるようになりました。
