注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。
お知らせ
Pipeline Builder: 高速開発のための機能
公開日: 2023-04-28
今年初めに、高速でフレキシブルでスケーラブルなデータ変換の新世代アプローチとして Pipeline Builder を発表しました。それ以来、ユーザーのフィードバックに基づいて強力な新機能を提供するために努力を続けています。Pipeline Builder は過去 3 ヵ月間に 70 以上の新しい変換を追加しました。これには、Geometry 関数、改善されたタイムスタンプの解析、複雑な結合条件などが含まれます。見逃してしまった新機能については、以下を続けてご覧ください！
カスタム関数で再利用可能なロジックを一元化
パイプライン全体で共有ロジックを再利用し、コピーペーストすることなく使用します。1つまたは複数のボードを選択し、それを定義された引数を持つカスタム変換に変換し、必要に応じて再利用します。ロジックを一度更新すれば、パイプライン内で関数が使用されているすべての場所で適用されます。更新されたドキュメンテーションは近日公開予定です！
Forループスタイルの関数で反復ロジックを短縮
重複ロジックを減らすテーマを続けて、Pipeline Builder は現在、操作のセットや集約をまとめて複数の行に動的に適用することをサポートしています。この柔軟性は、標準的なデータクリーニングや正規化ロジックの冗長な設定の必要性を大幅に軽減し、上記の再利用可能な関数と組み合わせることで、Pipeline Builder を生のデータを分析や運用用に準備するための、しばしば反復的なロジックを管理するための高速で効率的でメンテナンス可能なツールにします。
より速く、より安価なデータパイプラインのためのインクリメンタルロジックのサポート
インクリメンタルパイプラインは、最新の利用可能なデータの上にのみデータ変換が必要な場合の、より高速で、より安価で、よりエレガントな解決策です。しかし、これらのパイプラインのロジックと複雑さをコードで管理することは、これらの利点を享受する障壁となっていました。 現在では、Pipeline Builder 内で一度クリックするだけでパイプラインをインクリメンタルに設定できます。アプリ内のガイドは基本的な概念を明確に説明し、追加の設定は必要ありません。以前の多くの問題が解決されています。Pipeline Builder は、インクリメンタルパイプラインに適用可能なロジカルな変換のみを制限し、破壊的な変更を検出し、ユーザーに再生またはロジックの修正を促し、予想外のスナップショットを排除します。これらの追加機能により、この強力な機能セットのアクセシビリティが向上します。詳細については、Pipeline Builder でのインクリメンタル計算の例を参照してください。
手動エントリーテーブルで仮データを追加し、高速にビルドを開始
パイプラインを開始するために必要なデータを取得するのに数週間から数ヶ月かかることがあります。そして、パイプラインが一度構築されても、アドホックな変更がいつでも入ることがあります。パイプラインの開発プロセスは、いつでもビジネス要件の更新を考慮に入れる柔軟性が必要です。現在、手動エントリーテーブルを追加し、バッチパイプラインへの一時的な入力として仮データを柔軟に生成できます。本番データが利用可能になったら、パイプライン内のノードを単一クリックで切り替えるだけです。 次のステップとして、仮データと関連するパイプラインを使用して複数のオブジェクトタイプを持つオントロジーの v0 をバックアップし、データアクセスをブロックせずに運用アプリケーションを迅速にプロトタイプ化し、スキーマとデータモデルを反復処理できます。
Object Monitors: ユーザーとグループを購読
公開日: 2023-04-24
Object monitors は、ユーザーのデータの上で動作し、個々の検索やオブジェクトの追跡をユーザーが手助けするように設計されています。Object monitors はまた、Foundry で作成されたアプリケーションの一部として監視とアラート機能を含めるためのツールとしても役立ちます。
ユーザーがヘルスチェックやモニターを設定するとき、それらに関するアラートを受け取りたいのは、必ずしもユーザー自身だけとは限りません。特に、サポートのローテーションや特定のワークフローを担当するチームがある大規模な組織では。現在、ビルダーが運用を設定する際に、ユーザーに手動でアラートを購読するよう依頼する必要はありません。代わりに、個々のユーザーだけでなくグループもアラートに追加できます。これにより、新しいオブジェクトがインボックスを充填するオブジェクトセットに入るときにグループがアラートを受け取るように設定するという、待望の共有インボックスアプリケーションを設定する能力など、運用ワークフローの可能性が広がります。
リソースへのアクセスがないユーザーは、許可されたユーザーがそれらを購読しても、依然としてアラートを表示しないことに注意してください。
設定
購読を管理するタブで、ユーザーとユーザーグループを追加し、彼らが購読できるアラートの重要度を設定できます。通知設定により、ユーザーはモニターがトリガーするときにプラットフォーム内の通知とメール通知を受け取ります。近日中に通知は直接 PagerDuty インテグレーションをサポートする予定です。
Workshop: マップとグラフを保存し、添付する
公開日: 2023-04-24
Vertex Workshop Widget では、テンプレートからグラフを生成した後、ユーザーは完全な Vertex アプリケーションを開くことなく、このグラフを直接 Workshop から保存できるようになりました。同様に、Map アプリケーションテンプレートウィジェットを使用して、テンプレートから生成されたマップを直接 Workshop から保存できます。
ウィジェット設定では、保存したリソースの新しいリソース識別子 (RID) が文字列変数としてキャプチャされ、新しいマップまたはグラフを保存するたびにユーザーが実行するアクションのパラメーターとして追加できます。このパターンを使用すると、RID をプロパティとして保存し、Vertex と Map の Workshop 内のウィジェットの新しいリソース RID を上書きする設定を使用してアプリケーションのユーザーに表示することにより、マップとグラフをオントロジー内で表現できます。
この一般的なパターンは:
- テンプレートリソースを設定する
- ワークフローがユーザーにテンプレートの複製を促し、結果のリソースをウィジェットに埋め込み、ユーザーに変更を加えることを許可する Workshop アプリを設定する
- 新しいリソースの RID をアクションでオブジェクトタイプのプロパティとしてキャプチャする
は、標準的なプロセスを含む多くの運用ワークフローに適しています。Vertex グラフと Map テンプレートに加えて、ユーザーが標準ドキュメントを複製して記入する必要がある場合、Notepad テンプレートはこのパターンに適しています。 これらの機能は、各ウィジェットの設定の「Capabilities」セクションの「Saving」見出しの下で利用可能です。詳細については、Vertex ドキュメンテーション と Map アプリケーションドキュメンテーション をそれぞれ参照してください。
Quiver: データの検索と分析をより簡単に
公開日: 2023-04-18
Quiver は、豊富なツールと機能を備えた強力なデータ分析、レポーティング、ダッシュボード作成アプリケーションです。経験豊富な Foundry ユーザーと新規ユーザーの両方にとって直感的に使えるようにするため、データの検索を簡素化し、変換、結合、フィルター処理、視覚化などのインタラクションの発見性を向上させ、データ変換によるデータ型の変更を明確にする一連のユーザーインターフェースの変更を発表することを嬉しく思います。
次のアクションメニューの改善
カードや時系列プロットにホバーすると表示される「次のアクション」メニューを再編成しました。これにより、探しているものを見つけやすくなります。新しいカテゴリーは、各カードが何をするかによってグループ化されており、データ型によってではありません。データと対話するすべてのカードは、次のアクションメニューから、または上部バーの「カードを検索」ボタンを使用してアクセスできます。 さらに、次のアクションバーは検索可能になりました！すべてのカテゴリーや特定のカテゴリー内でアクションを検索します。結果には、カテゴリー内の一致と他のカテゴリーからの一致のハイライトが含まれます。これにより、アクションを見逃すことがなくなります！
データの変換がより直感的に
次のアクションメニューに新しいカテゴリーを追加しました。「変換」カテゴリーです。この新しいカテゴリーには、以前には Canvas や Graph に Transform Table カードを追加した後にのみアクセス可能だった、Transform Tables に適用可能なすべての変換が含まれています。このカテゴリーから変換を追加すると、自動的に Transform Table が追加され、選択した変換が適用され、分析ワークフローが合理化されます。
メニューバーの最適化でデータの追加にフォーカス
分析メニューを簡素化し、データの追加に重点を置きました。カードを検索ボタンを使用して、すべての利用可能な カード を引き続き検索できます。この再設計により、Quiver 全体でデータの追加の経験が一元化され、データを分析に取り込むたびに一貫した経験が得られます。
カード間の データ型 変更の明確な表示
分析の入力はオブジェクトと時系列データから来ますが、Quiver の強力な変換カードにより、すべてのタイプのデータを操作し、導出できます。分析の設定時の可読性を向上させるために、すべてのカードは、省略形ではなくフルネームでデータ型を明確に表示します。これにより、カード操作がデータ型を変更し、その結果、出力カード上の利用可能なアクションが変更されるときに明確になります。 さらに、「次のアクション」または「検索」セレクターでカードを選択するとき、入力と出力の型がカード名と説明とともに表示されます。
Control Panel: ネットワークイングレスを設定
ネットワーク ingress allowlists [1] の設定機能が、Control Panel の Network ingress タブで利用可能になり、Foundry の管理者が自己サービスの設定を解除できるようになりました。以前はこれらの許可リスト設定は Palantir エンジニアと共同で管理されていましたが、Control Panel に設定を移動することで透明性が向上し、Information Security Officer や Enrollment Administrator の役割を持つアカウントが Palantir サポートとは独立して許可リストを管理できるようになります。既存の許可リスト設定は、ほとんどの Foundry エンロールメントで自動的に移行されました。
この新機能について質問がある場合は、Palantir サポートにお問い合わせください。
リソース管理：通貨
公開日：2023年4月14日
リソース管理アプリは、現在、プラットフォーム全体のリソース使用量をデフォルトで通貨価値として表示します。これにより、使用量は GB-months や cpu-seconds などの技術的な次元ではなく、ローカル通貨として表示されます。これにより、プラットフォームの異なる技術的な次元間の相対的な支出の比較が簡単になり、リソース使用量が実際のコストにどのように翻訳されるかを理解することが更に直感的になります。
リソース管理アプリへのアクセスは Resource management viewer ロールで制御され、コントロールパネル > エンロールメントの権限 の設定で管理できます。リソース使用量の通貨ベースの表示は、すべての Foundry のエンロールメントで利用可能なわけではないかもしれません - ご不明な点があれば、Palantir の代表者にお問い合わせください。
Slate：Slate デバッガの紹介
公開日：2023年4月10日
何百ものウィジェット、クエリ、関数、イベントから成る Slate の大規模なアプリケーションを構築すると、必然的に複雑さが生じます。これらのアプリケーションでは、何らかの予期しない振る舞いが発生した場合、依存関係のウェブを追跡し、関数のエッジケースや複雑なイベントロジックの根本原因を見つけるのは困難です。
新たに統合されたデバッガを使えば、Dependency Graph は、最も複雑な Slate アプリケーションの内部動作を調査するための超強力なツールになります。これにより、依存関係グラフの実行にブレークポイントを設定し、解決する際の中間段階を理解することが可能になります。
ブレークポイントとデバッガについての詳細、および Slate アプリの調査のベストプラクティスについては、ドキュメントをご覧ください。
Modeling Objectives：モデル操作 2.0
公開日：2023年4月4日
AI/ML モデルのエンドツーエンド管理
Modeling Objectives は、ML/AI モデルが Foundry の ModelOps (外部) ライフサイクルを進行する際の管理を行う Palantir Foundry アプリケーションです。Modeling Objectives は更新され、Foundry でモデルを管理、評価、リリースする経験を簡素化し、チームがプロトタイピング、トレーニング、問題に最適なモデルを統合に集中できるように改善しました。
Modeling Objectives アプリケーションにより、データサイエンスチームとエンジニアリングチームは以下のことが可能となります。
- モデリングプロジェクトで共同作業を行う
- モデル評価パイプラインを定義し、自動化する
- すべての候補モデル、そのパフォーマンスメトリクス、およびモデルレビューを提出し、追跡する
- モデルアップグレードの一流の変更コントロールを備えたライブインタラクティブまたはバッチデプロイメント環境にモデルを簡単にデプロイする
ノーコードモデル評価またはローコード評価ライブラリ
Modeling Objectives アプリケーションは、現在、すべてのモデル提出に対して推論とメトリクスパイプラインを自動的に生成し、ビルドするように設定できます。これは、回帰や二値分類などの一般的なモデリング問題のデフォルト評価ライブラリを使用して有効にされます。
これらのライブラリにより、チームは体系的なモデル評価構造を定義することができ、すべてのモデルが一貫して評価され、比較されることを確認します。これにより、モデル比較の正確さが向上し、実際の結果が改善されます。モデル評価ライブラリの導入により、Foundry で再利用可能でパラメータ化可能な評価ライブラリを作成することができます。これにより、データサイエンスチームは、他のモデリングドメインや、チーム、組織、問題に特有のカスタムメトリクスに対して自動モデル評価を活用することができます。
細分化されたモデルパフォーマンスの比較
Model Evaluation Subsets は Modeling Objectives に導入され、評価データの粒度の細かいサブセット間の比較により、評価メトリクスを強力に拡張します。
これにより、モデル開発者は以下のことが可能となります。
- モデルのパフォーマンスが低い箇所をすばやく特定し、開発努力を集中する
- モデルを使用する運用上または組織的な設定を知識を持って決定する
- 生産モデルが異なるクラスのデータで公平に動作することを確認し、記録する
- モデル評価サブセットは、追加のコードを必要とせずに、モデルのパフォーマンスに独自の視点を提供することでモデル評価を強化します
Modeling Objective チェック
すべてのモデルのテストと評価が定量的であるわけではないという認識のもと、Modeling Objective Checks は、専門家のレビュープロセスを円滑にし、モデルが生産に入る前に承認または拒否を決定することができるようにするために使用できるようになりました。
Modeling Objectives をいつ使用するのか？
Modeling Objectives は、データ科学者、エンジニア、およびそれらのチームが、アドホックなモデル開発を生産準備完了、統治、および運用のワークフローに変えるのを簡単にします。
モデリング目的を設定し、モデルを特定のドメインとユースケースに関連するメトリクスに対して一貫して評価し、比較する方法を学ぶには、モデル統合とモデルのレビューのドキュメンテーションを読んでください。
追加のハイライト
管理 | コントロールパネル
組織レベルの第三者アプリケーションへの同意を設定する | デフォルトでは、第三者アプリケーションがユーザーを代表して Foundry データにアクセスする前に、ユーザーは第三者アプリケーションに対してそのような同意を提供するように求められます。OAuth 2.0 クライアントを管理する権限を持つ組織管理者は、すべての組織ユーザーを代表してそのような同意を提供することができます。これは、ユーザーが直接 Foundry と対話することを想定していないアーキテクチャに適しています。Foundry と第三者アプリケーションについて、組織レベルの同意を設定する方法を含めて詳細を読んでください。
管理 | リソース管理
フリートに通貨をリリースする | リソース管理アプリは、リソース使用量をデフォルトで通貨として表示するようになります。これにより、使用量は通貨 (USD, GBP, etc.) として表示され、技術的な次元 (GB-months, CPU-seconds, etc.) として表示されることはありません。通貨として使用量を表示することで、技術的な次元間での相対的な支出を比較することが可能になります。Foundry のエンロールメントは、プラットフォーム全体での支出の内訳を、費用という一般的に理解しやすい単位を使って理解することができるようになります。
アナリティクス | Contour
新しいボードリボンをすべての場所で有効にする | ボードリボンを再設計して、ボードの検索と発見をより目立つようにしました。これで、ボードリボンの任意のカテゴリーを開くと、ユーザーはボードを検索したり、他のカテゴリーのボードを発見することができます。
#### アナリティクス | Quiver
Quiver 変換テーブルの改善 | 入力変換テーブルを選択するためのドロップダウンに 2 つの改善を導入します： 1.自動変換： 分析内で利用可能な変換テーブルに加えて、変換テーブルに変換できる分析内容内のすべてのエンティティも表示します。これらのいずれかが選択されると、選択されたエンティティから変換テーブルを自動作成して入力として選択します。 2.オブジェクトタイプ： オントロジーからオブジェクトタイプをインライン選択してオブジェクトセットを作成するための「オブジェクトセットを追加」ボタンも追加しました。また、それを元に変換テーブルを自動作成して選択します。これらの変更は、変換テーブルが必須の設定入力でユーザーが困ったときに役立ちます。
Quiver Next Actions メニューの更新 | Next Actions メニューを再編成して、カードを見つけやすくしました。データとやりとりするすべてのカードは、Next Actions メニューまたは上部バーの「カードを検索」ボタンを使用してアクセスできます。新しいカテゴリーは、データタイプ別ではなく、各カードの機能別にグループ化されています：フィルター、ビジュアライズ、計算、結合、変換、および変換。
アプリビルディング | Slate
依存関係グラフで Slate の内部変数を発見 | sl_user_storage や $global などの Slate の内部変数が依存関係グラフで表示されるようになりました。
Slate でカスタムウィンドウタイトルを設定 | slate.setFavicon アクションを呼び出すことで、カスタムファビコンを設定できるようになりました。
ロケールのグローバル変数を追加 | $global.locale 変数を使用して、ユーザーが Foundry セッションで設定した言語にアクセスできるようになりました。
ビューワー権限で Slate アプリを複製 | Slate アプリケーションの複製には、ビューワー権限が必要になりました。右上の アクション ドロップダウンからアプリケーションを複製できます。
データインテグレーション | Pipeline Builder
マークダウンテンプレートを提案に追加し、ブランチ設定を再配置 | Pipeline オーナーは、提案された変更のためのマークダウンテンプレートを追加できるようになりました。テンプレートが設定されると、各提案リクエストには、ユーザーが記入するための body フィールドにテンプレートが含まれます。提案テンプレートは、ブランチ設定ビューの新しい 提案テンプレート タブで表示および編集できます。
オントロジー | Foundry Rules
Taurus から Foundry Rules へのアップグレードを支援するウィザード | Rules アーキタイプ V2 は、設定を一元化し簡略化しており、Foundry Rules セットアップの保守と更新がより安全かつ迅速に行えます。このアップデートでは、V1 Rules（別名 Taurus）アーキタイプ展開から新しい V2 Rules アーキタイプへの移行を支援するアップグレードアシスタントが導入されました。使用方法をご確認ください。
Foundry SQL Server：コネクター
Foundry データセット用の MicroStrategy コネクター | MicroStrategy アナリティクスプラットフォームのユーザーは、Foundry データセットにアクセスするための MicroStrategy 認定コネクター を使用できるようになりました。
