注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

お知らせ

リマインダー: Foundry ニュースレターに登録すると、プラットフォーム全体の新しい製品、機能、改善点の概要を受信トレイで直接受け取れるようになりました。登録方法の詳細については、Foundry ニュースレターと製品フィードバックチャネルのお知らせをご覧ください。

Foundry ニュースレターと製品フィードバックチャネル:登録受付中 [GA]

Foundry ニュースレターと製品フィードバックチャネルのリリースをお知らせします。ユーザー設定 > 通知 > 更新とニュースに移動すると、登録できます。

Foundry ニュースレターでは、プラットフォーム全体の新しい製品、機能、改善点の概要を受信トレイに直接お届けします。最初の一般提供(GA)版 Foundry ニュースレターは、2023 年 11 月中旬に登録者に送信されます。また、新たにリリースされた製品フィードバックチャネルにも登録できます。このチャネルでは、特定のテーマについてユーザーからの意見を求める Palantir のエンジニアと直接つながる機会を提供します。この更新により、意見を届け、Foundry エコシステム全体で進められている開発の方向性に貢献する機会が得られます。

これらの任意登録によって配信されるニュースレターやその他のコンテンツは、Foundry ユーザーアカウントに関連付けられたメールアドレスに送信されます。通知に関する情報およびメールアドレスは、Foundry エンロールメント内にのみ保存され、通知の配信を目的として中央で収集されることはありません。

登録や通知設定の変更手順は、次のとおりです。

  1. Foundry インスタンスを開きます
  2. ユーザー設定に移動します。
    • 左下のアカウントを選択します
    • ポップアップメニューで設定(歯車アイコン)を選択します
  3. ユーザー設定ページで、通知タブに移動します
  4. 通知で、更新とニュースタブを選択します
  5. 対応するチェックボックスをオンにして、Foundry ニュースレターチャネル、製品フィードバックチャネル、または両方(すべてに登録)に登録します
  6. Foundry ニュースレターチャネルや製品フィードバックチャネルの登録を解除するには、対応するチェックボックスをオフにします

アカウント設定

アカウント設定

通知

通知

プラットフォーム管理者への注意事項: プラットフォーム管理者は、Foundry Control Panel の連絡先情報設定にもメールアドレスを登録してください。これにより、プラットフォーム管理、ユーザーサポート、サービス中断のお知らせ、セキュリティ更新に関する重要な連絡を受け取れます。これらの連絡はプラットフォーム管理者向けであり、上記の Foundry ニュースレターおよび製品フィードバックチャネル(すべてのユーザー向け)とは別に配信されます。

Control Panel に承認タブを導入:機密性の高い操作のワークフローを効率化

公開日: 2023-11-30

承認の受信トレイが Control Panel に統合され、Control Panel 関連のワークフローに対応しました。これにより、機密性の高い操作の承認リクエストを、シームレスかつ一元的に確認できます。この Control Panel 統合では、セキュリティ設定のバージョン管理が可能になり、管理者は変更の履歴とその理由を追跡できます。また、可視性の向上により、チームはセキュリティ設定の更新を容易に監視・評価できるため、安全でコンプライアンスに準拠した環境の維持に役立ちます。ネットワークイングレス設定のリクエストを確認できるようになり、さらに追加のワークフローも開発中です。

承認タブには Control Panel 関連のワークフローのみを扱う受信トレイがあり、まずはイングレス設定の変更リクエストに対応します。

承認タブには Control Panel 関連のワークフローのみを扱う受信トレイがあり、まずはイングレス設定の変更リクエストに対応します。

ネットワークイングレス設定の管理

12 月 4 日より、ネットワークイングレスの変更を実施するには承認が必要になります。このポリシー変更は、プラットフォームの既存の権限モデルに従いながら、イングレス設定をより安全で統制されたプロセスで管理することを目的としています。

ネットワークイングレス設定の変更リクエストを作成できるのはセキュリティ担当者のみであり、デフォルトでは、変更リクエストの作成者が自身の変更を承認できます。 より高度なセキュリティが必要な一部のエンロールメントでは、別のセキュリティ担当者による承認を必須とするようにワークフローが設定されます。

承認タブには Control Panel 関連のワークフローのみを扱う受信トレイがあり、まずはイングレス設定の変更リクエストに対応します。

Control Panel 内の承認機能で管理されるネットワークイングレス設定。

今後の開発ロードマップ

承認機能と Control Panel の統合は、機密性の高いワークフローのセキュリティと統制を強化し、重要な操作が適切な監督の下で管理されるようにすることを目的としています。承認の受信トレイには新しいワークフローが追加され、機密性の高いタスクの管理をより体系的にし、共同作業を強化します。

承認の受信トレイの使用方法については、Control Panel の承認をご覧ください。また、プラットフォームへのアクセス管理については、ネットワークイングレスの設定に関するドキュメントをご覧ください。

Workshop で埋め込みモジュールウィジェットが利用可能に [GA]

公開日: 2023-11-28

Workshop のアプリケーション作成者は、一般提供となった埋め込みモジュールウィジェットを使用して、再利用可能なアプリケーションコンポーネントを作成できるようになりました。この新機能は、強力な構成の基本要素を提供し、ユースケースの保守性と再利用性を向上させます。

たとえば、多数のページ、数百個のウィジェット、数千個の変数を持つ Workshop モジュールを考えてみます。埋め込みモジュールウィジェットとその変数共有機能を活用すると、この大きな Workshop モジュールを、より小さな独立した埋め込みモジュールに分割できます。作成者は、目的を絞ったこれらの埋め込みモジュールを個別に開発し、後から 1 個の Workshop モジュールにまとめることができます。たとえば、フィルターウィジェットと表示ウィジェットの組み合わせなど、モジュール内で重複する部分は、複数の場所に埋め込む別のモジュールとして切り出せます。

埋め込みモジュールのはじめに

ウィジェット選択ページの Foundry アプリセクションで、以下に示す **Workshop: Embedded Module(Workshop: モジュールの埋め込み)**ウィジェットを見つけます。

埋め込みモジュールウィジェットは、ウィジェット選択メニューにあります。

埋め込みモジュールウィジェットは、ウィジェット選択メニューにあります。

モジュールを選択してウィジェットを設定すると、そのモジュールのインターフェース変数定義が表示されます。次に、親モジュールの変数を子モジュールの変数にマッピングします。

埋め込みモジュールウィジェットの変数マッピング用設定セクション。

埋め込みモジュールウィジェットの変数マッピング用設定セクション。

詳細については、埋め込みモジュールウィジェットのドキュメントをご覧ください。

今後の開発ロードマップ

埋め込みモジュールについては、次の追加改善を予定しています。

  • ループレイアウト: 現在ベータ版で提供されているこのレイアウトは、オブジェクトセットを反復処理し、セット内の各オブジェクトに対してモジュールを表示できるようにすることで、埋め込みモジュールの機能を拡張します。詳細については、ループレイアウトのドキュメントをご覧ください。

  • モジュールインターフェース変数の操作性: 埋め込みモジュールの設定と使用をさらに分かりやすくするため、モジュールインターフェース変数の操作性の改善を進めています。

Foundry Connector 2.0 for SAP Applications v2.29.0(SP29)が利用可能に

公開日: 2023-11-28

Foundry を SAP システムに接続するための Foundry Connector 2.0 for SAP Applications アドオンのバージョン 2.29.0(SP29)が利用可能になりました。

この最新リリースには、軽微なバグ修正と次の改善が含まれます。

  • データ抽出の並列化による、バッチデータ取り込みのスループットの大幅な向上。
  • SAP Landscape Transformation(SLT)Replication Server から Foundry へのデータストリーミングによる、低遅延ワークフローへの対応。
  • BAPI(Business Application Programming Interface)関数の複数の出力への対応。

Foundry のプラットフォーム内カスタムドキュメントから直接ダウンロード

SP29 以降、アドオンのインストールパッケージを Foundry 内から直接ダウンロードできます。SP29 にアクセスするには、次の手順に従います。

  1. Foundry ナビゲーションバーの下部から、プラットフォーム内カスタムドキュメントを開きます。
  2. ドキュメント内で「SAP」を検索し、Foundry SAP コネクターを選択します。
  3. ドキュメントの使用方法セクションから、アドオンのダウンロードを選択します。

この情報を組織の SAP ベーシスコンポーネントチームと共有することをお勧めします。

アドオンのダウンロードに関する詳細については、ドキュメントをご覧ください。

モデル推論履歴データセット [GA]

公開日: 2023-11-28

Foundry でモデル推論履歴データセットを作成できるようになりました。これらのデータセットは、モデリング目標内のライブデプロイが処理するすべての推論リクエスト(入力)と推論結果(出力)を記録し、ドリフト検出、継続的な再学習、性能評価、使用状況分析など、幅広いワークフローを簡素化します。

ライブデプロイのデータを活用

モデル推論履歴データセットは、ライブデプロイのリクエストとレスポンスを追跡します。この機能は、実際の顧客やユーザーがモデルをどのように使用しているかをモデル開発者が把握したい、本番環境のユースケースにおいて、有益なフィードバックを提供します。

たとえば、ライブデプロイを使用して Web サイトで推奨情報を提供する場合を考えてみます。モデル推論履歴には、ユーザーの訪問と各ユーザーに提供された推奨情報が記録されます。開発者は、このデータセットを分析して、特定のユーザーに対する推奨情報の有効性を判断できます。この場合、データセットは使用状況の分析を可能にすることで価値を生み出し、最適化やリソース配分に関する意思決定に役立ちます。

現在のモデル評価プロセスは継続的な再学習と性能評価に対応していますが、これらの既存機能はモデルの使用状況に関するユーザーフィードバックを提供しません。そのため、モデル推論履歴データセットとは異なり、ライブデータではなく、既存の学習データとテストデータがある場合に、より適しています。

モデル推論履歴データセットの使用

モデル推論履歴データセットを作成するには、モデリング目標のデプロイページに移動し、ライブデプロイを選択して、モデル推論履歴セクションのデータセットを作成を選択します。入力と出力には機密情報が含まれる可能性があるため、セキュリティマーキングの適用を強くお勧めします。

モデル推論履歴は、モデリング目標のデプロイページから作成します。

モデル推論履歴は、モデリング目標のデプロイページから作成します。

作成後、データセットにはタイムスタンプ、ユーザーID、リクエスト UUID、入力と出力の JSON 表現などの重要な情報が記録されます。

データセットの有効化と無効化

モデル推論履歴を一時的に有効または無効にするには、モデル推論履歴カードに移動し、記録を有効化トグルを使用します。モデル推論履歴を永続的に無効にするには、モデル推論履歴カード内のデータセットの横にある外すボタンを選択します。

このトピックの詳細については、モデル推論履歴のドキュメントをご覧ください。

小規模から中規模のデータセット向けの高速なトランスフォームを導入

公開日: 2023-11-15

Spark トランスフォームの代替となる Lightweight API を発表します。コンテナトランスフォームの優れた性能を活用し、Spark に依存する必要がない小規模から中規模のデータセットのトランスフォームを高速化します。単一ノードで実行できるデータトランスフォームが増える中、Lightweight API を使用すると、分散並列処理のオーケストレーションに伴う大きなオーバーヘッドを排除し、単一ノードの代替アプリケーションを使用してデータパイプラインを開発できます。

Pandas トランスフォームを Lightweight Pandas トランスフォームに変えるには、次の手順に従います。

  1. Python リポジトリをアップグレードして、最新バージョンにします。
  2. ライブラリタブから foundry-transforms-lib-python をインストールします。
  3. 次のコードスニペットのように、@lightweight をインポートし、既存のデコレーターの上に適用します。
Copied!
1 2 3 4 5 6 7 8 9 from transforms.api import transform_pandas, Input, Output, lightweight @lightweight @transform_pandas( Output('/Project/folder/output'), df=Input('/Project/folder/input') ) def compute(df): return df[df['Name'].str.startswith("A")].sort_values(by="Age")

データ変換のベンチマーク調査

複雑なデータ変換と単純なデータ変換の最適化ベンチマークを比較すると、Lightweight API の利点が明らかになります。以下の 2 個のベンチマークグラフは、5 個の計算エンジンで同じデータ変換ロジックを 19 種類のデータセットサイズに対して実行し、7 回の反復で測定したエンドツーエンドの平均実行時間を、条件を統制して比較したものです。帯は標準誤差を表します。各データ変換には、8 vCPU と 32 GB の RAM が割り当てられました。線が途中で終わっている箇所は、メモリー不足(OOM)に達したことを示します。Polars は、.polars(lazy=True) で利用できるストリーミングモードで使用しました。

以下のベンチマーク画像は、explode 操作の後に複数の結合とグループ化が続く、ある程度複雑なパイプラインを示しています。Pandas、Polars、PySpark の API を使用して、それぞれネイティブに実装しました。

複雑なトランスフォームの最適化を示すベンチマークグラフ。

複雑なトランスフォームの最適化を示すベンチマークグラフ

この場合、Spark を使用しない Lightweight バックエンドでは、起動時のオーバーヘッドがほぼ半減します。また、単一ノードに最適化されたデータ処理ライブラリである Pandas ↗ と Polars ↗ は、Spark のようにネットワーク制約のあるシャッフルの結果を待たないため、約 1,000 万行までは大幅に高速です。ただし、より大きなデータセットや複雑な操作では、Spark のクエリプランの方が規模の拡大に伴って大幅に効率が良くなるため、これらのユースケースでは Spark をお勧めします。

一方、より単純なパイプラインをさらに大きなデータに適用した場合、非常に大規模なデータセットでも、Spark が常に Polars を上回るとは限りません。

単純なトランスフォームの最適化を示すベンチマークグラフ。

単純なトランスフォームの最適化を示すベンチマークグラフ

上のグラフで重要なのは、実装されたデータ変換ロジックがほぼ単純な処理であり、データセットのパーティション分割に使われていない列に対する 1 回のフィルター操作のみを含んでいる点です。このようにパイプラインが単純な場合(演算子が少なく、メモリー効率の良い結合を使用する場合など)、Lightweight の Polars ストリーミングモード ↗ は Spark を大幅に上回り、すべてのデータセットサイズで推奨されます。なお、@transform に @lightweight デコレーターを適用すると、Spark メソッドは利用できません。

今後の開発ロードマップ

Lightweight API は開発を進めているため、マーキング解除ワークフローや外部トランスフォームなど、一部の機能にはまだ対応していません。次の機能は近日提供予定です。

  • 対応する計算エンジンの追加(DuckDB や cuDF など)
  • カスタム Docker イメージへの対応
  • インクリメンタル(差分処理)トランスフォームへの対応

追加情報

小規模なデータセットや単純な処理ロジックの場合は、計算を高速化するために Lightweight トランスフォームの使用をお勧めします。

詳細については、Lightweight API および transform_polars のドキュメントをご覧ください。または、参照リソースから Lightweight トランスフォームの例の Marketplace 製品をインストールして、お試しください。

Foundry でセマンティック検索が利用可能に [GA]

公開日: 2023-11-13

Palantir Foundry は、ベクトルプロパティと関数の導入により、オントロジーでのセマンティック検索に対応しました。オントロジー内のオブジェクトにベクトルプロパティタイプを作成し、オブジェクトに対する K 最近傍(KNN)関数(FoO)を使用して、オブジェクトのセマンティック検索を実行できるようになりました。この機能により、オントロジーを活用するモデルの出力を使用して、より正確な結果を得られます。

Foundry のセマンティック検索機能は、特定のトピックを検索するドキュメントベースのユーザーの操作性向上など、さまざまなユースケースを可能にします。セマンティック検索への対応により、ユーザーのクエリをその意味に基づいて照合し、関連するオブジェクトを返せます。さらに、オントロジーにアクセスできることで、これらの結果を LLM に再入力し、有用でユーザーに分かりやすいプロンプトを生成して、既存の AIP 作成機能を強化できます。

セマンティック検索とは

セマンティック検索は、クエリのコンテキストを考慮して、より正確で関連性の高い検索結果を返す検索手法です。コンテキストに関係なくクエリ内の語句全体を単純に照合するキーワード検索とは異なり、セマンティック検索では、ユーザーの検索語が持つ意味を考慮します。

Foundry のセマンティック検索は、次のようなオントロジーの改善によって実現されています。

  • Object Storage v2(OSv2)へのベクトルプロパティタイプの導入
  • オブジェクトに対する関数を使用した K 最近傍(KNN)検索

Foundry のモデリング目標から取得した Float 配列からベクトルプロパティを生成すると、FoO 関数で KNN を使用して類似したベクトルを検索できます。エンドツーエンドのセマンティック検索ワークフローの詳細な例については、セマンティック検索ワークフローのチュートリアルをご覧ください。

ベクトルプロパティタイプの設定

新しいベクトルデータ型を使用すると、モデルの埋め込みをオントロジーに取り込めます。固定次元の Float 配列を持つ任意のデータセットフィールドに作成できます。ベクトルを比較するための類似度関数が複数あり、ユースケースとモデル出力に応じて選択できます。

Ontology Manager 内でベクトルプロパティを設定できます。まずデータ型を指定し、次元数(元となるモデルの出力長)を選択してから、同じベクトルプロパティタイプを持つ他のオブジェクトとどのように比較するかを決める類似度関数を選択します。

類似度関数

オブジェクトに対する K 最近傍関数

オブジェクトに対する K 最近傍(KNN)関数(FoO)への対応により、オブジェクトタイプに対するセマンティッククエリ関数の作成が簡単になります。モデルがライブで生成したベクトル、またはオブジェクトの既存のベクトルを使用して、オブジェクトタイプに対する KNN 検索を実行できます。追加情報については、ドキュメントの KNN FoO 関数をご覧ください。

このお知らせに関連するトピックの詳細については、次のドキュメントをご覧ください。

プラットフォーム内で Spark モジュールのバージョンをリポジトリに固定する機能を導入

公開日: 2023-11-13

指定したコードリポジトリで特定の Spark モジュールバージョンの使用を強制するプロセス(「固定」とも呼ばれます)を簡素化し、高速化しました。Code Repositories のリポジトリの設定 > ランタイムオーバーライドタブから、プラットフォーム内で Spark モジュールのバージョンを直接選択できるようになりました。以前は、この操作に手動で時間のかかる CDConfig プロセスが必要でした。

なお、バージョンの固定は一時的な方法としてのみ使用することを想定しています。最新の性能改善とセキュリティ強化の恩恵を受けるため、常に最新バージョンの Spark を使用することをお勧めします。

Spark のバージョンを固定するには、Code Repositories でリポジトリを開き、設定 > ランタイムオーバーライドタブに移動します。

コードリポジトリの設定画面のランタイムオーバーライドタブでモジュールのバージョンを設定します

コードリポジトリの設定画面のランタイムオーバーライドタブでモジュールのバージョンを設定します

固定を作成し、すべてのブランチまたは特定のブランチに固定する Spark の特定のバージョンを選択できます。有効期限の指定が必要であり、現在の日付から 90 日以内でなければなりません。

固定を保存すると、上の画像のように、ランタイムオーバーライドタブで確認できます。既存の固定が表示され、編集済またはアーカイブ済みにできます。アーカイブした固定は適用されなくなります。アーカイブ済みの固定には Expired ラベルが付けられ、必要に応じて復元できます。

固定は、ビルドプレビュー > 詳細の表示ページでも確認できます。

機能を有効にすると、Code Repositories に Spark モジュールのバージョンを示す「固定済み」タグが表示されます

機能を有効にすると、Code Repositories に Spark モジュールのバージョンを示す「固定済み」タグが表示されます

開発ロードマップ

現在、この機能はリポジトリへの Spark モジュールの固定に対応しています。次の対象にも固定できるよう、開発を進めています。

  • Job Tracker インターフェースを使用した個別のビルド
  • Pipeline Builder パイプライン

この新機能の詳細については、プラットフォーム内での Spark モジュールの固定に関するドキュメントをご覧ください。

Control Panel のロールで、メンバーにプラットフォーム設定の組織権限を付与

公開日: 2023-11-02

プラットフォーム管理者にとって分かりやすくし、混乱を減らし、権限設定の柔軟性を高めるため、組織権限をプラットフォーム設定から Control Panel に 2 段階で移行します。現在、権限、メンバーシップ、マーキングカテゴリー、グループメンバーシップの管理など、ユーザーの Foundry 利用に関わる制御はプラットフォーム設定インターフェースで管理されていますが、この移行により Control Panel に統合されます。

  • フェーズ 1(11 月 20 日の週から開始):プラットフォーム設定のワークフローと権限を Control Panel のロールに追加します。

  • フェーズ 2(2024 年第 1 四半期を予定):プラットフォーム設定の権限を持つ残りのメンバーを、対応するワークフローと権限を含む Control Panel のロールに移行します。ユーザーの移行が完了すると、レガシーの組織プラットフォーム設定は Control Panel でのみ利用可能になります。フェーズ 2 の変更の詳細は、今後のお知らせでご案内します。

権限の更新がユーザーと組織に及ぼす影響を理解するため、以下のお知らせを注意深くご確認ください。

この変更を行う理由

Control Panel とプラットフォーム設定で付与される権限の違いに、ユーザーが戸惑うケースが見られました。単一の UI に統合することで分かりやすくなり、管理ワークフローの複雑さを軽減できます。

現在の権限システムは柔軟性に欠け、特定のタスクへのアクセスが最上位の管理者に限定されているため、その管理者に過度な作業負担がかかっています。Control Panel のロールは標準でカスタマイズ可能であり、カスタムロールを通じて、これらのワークフローの権限を細かく付与できます。

ユーザーと既存の権限への影響

フェーズ 2 の終了までに、すべての既存の権限が自動的に移行され、アクセス権や特権が失われることはありません。ただし、次の重要な変更点にご注意ください。

フェーズ 1 の変更(11 月 20 日の週から適用)

プラットフォーム設定の権限を使用しない形に移行するため、まず、これらの権限とワークフローを Control Panel のロールに付与する必要があります。1 個の新しいロールを作成し、一部の既存のロールに新しいワークフローを追加します。その結果、既存のロールメンバーは、ロールの説明に沿った追加の権限を取得します。

セキュリティの観点から、以下の変更を組織のロールメンバーシップと照らし合わせて事前に確認し、必要に応じて Control Panel でロールを更新することをお勧めします。

プラットフォーム権限と Control Panel への統合を示すフローチャート

フェーズ 1 の変更における、各ロールから Control Panel のロールへのマッピングを示す図

組織管理者が Manage 権限およびプラットフォーム設定で付与されるその他の権限を取得

組織管理者は、権限、メンバーシップ、マーキングカテゴリーの管理権限、およびアクセスの拡大と組織の適用の制御を取得します。

組織管理者のデフォルトロールを持つユーザーは、以前はプラットフォーム設定を通じて付与されていたワークフロー(権限の管理、メンバーシップの管理、マーキングカテゴリーの管理、グループメンバーシップの閲覧)を実行できるようになります。この変更は、組織管理者は高度な特権を持つロールであり、組織のあらゆる側面を管理できるべきであるという方針を維持するものです。

アクセスを拡大する権限は引き続き別扱いとなり、組織管理者に自動的には付与されません。ただし、組織管理者は Control Panel > 組織権限タブに移動して、この機能を持つユーザーとグループを管理できます。

組織設定の閲覧者が View group membership を取得

組織設定の閲覧者のデフォルトロールを持つユーザーは、組織のグループメンバーシップを閲覧できるようになります。現在、この Control Panel のロールは、Control Panel の組織権限への読み取り専用アクセスを付与していますが、今後数か月で読み取り専用のワークフローが追加される予定です。

データガバナンス担当者が Manage marking categories を取得

データガバナンス担当者のデフォルトロールを持つユーザーは、組織のマーキングカテゴリーを管理できるようになります。

[新規] Users and groups administrator デフォルトロール

ユーザーとグループの管理者という新しいデフォルトロールが Control Panel に追加されます。このロールに追加されたユーザーは、組織のメンバーシップを管理できるようになります。

[新規] 組織の Marking permissions タブ

Control Panel の組織権限セクションに、新しいマーキング権限タブが追加されます。これは、プラットフォーム設定の組織の適用セクションとアクセスの拡大セクションを、一対一で置き換えるものです。

組織管理者が権限を確認するための、Control Panel の新しいマーキング権限タブ

組織管理者が組織権限と既存の権限を確認するための、Control Panel の新しいマーキング権限タブ

フェーズ 2 の変更(2024 年第 1 四半期を予定)

フェーズ 2 では、既存の権限付与を Control Panel のロールに自動的に移行し、プラットフォーム設定のインターフェースを完全に廃止して削除します。フェーズ 2 の詳細に関する追加のご案内は、フェーズ 1 が進行した段階でお届けします。フェーズ 1 の開始時には、管理者に次の対応をお勧めします。

  • これらの権限の管理にプラットフォーム設定を使用せず、代わりに適切な Control Panel のロールを通じて付与する。
  • プラットフォーム設定での既存の権限付与を手動で監査し、対象の Control Panel のロールに移行する。

Foundry における権限とその基本要素の仕組みについては、Foundry のエンロールメントと組織に関するドキュメントをご覧ください。

Python 向けオントロジー SDK [GA]

公開日: 2023-11-02

Python 言語版のオントロジー SDK が一般提供となりました。開発者は Developer Console を使用して、オントロジーのオブジェクトタイプ、リンクタイプ、アクションタイプを含む Python パッケージを生成し、Conda または pip を使用してインストールできます。

オントロジー SDK を使用すると、データの読み込み、集計、アクションの適用ができます。以下はコードスニペットの例です。

オントロジー SDK の Python コード例

Python オントロジー SDK について学ぶには

Python オントロジー SDK は Developer Console を使用して生成します。詳細については、オントロジー SDK のドキュメントをご覧ください。または、Jupyter notebook で Python SDK を使用する方法のウォークスルーに従ってください。

Developer Console には、アプリケーションの内容に合わせてカスタマイズされた動的ドキュメントも含まれています。TypeScript と cURL のプラットフォーム内 API ドキュメントも利用できます。

Developer Console には、SDK に含まれる各オブジェクトタイプのドキュメントがあります

Developer Console には、SDK に含まれる各オブジェクトタイプのドキュメントがあります

試してみるには

Foundry ワークスペースのナビゲーションバーから Developer Console を開き、アプリケーションを作成するか、すでに作成したアプリケーションを開きます。アプリケーション SDK ページには、生成された SDK のすべてのバージョンが一覧表示されます。まず、右上にあるはじめにのドキュメントを選択します。

Developer Console ナビゲーションバーの設定メニューからアプリケーション SDK にアクセスし、はじめにのドキュメントから始めます

Developer Console には、SDK に含まれる各オブジェクトタイプのドキュメントがあります

Developer Console ナビゲーションバーの設定メニューからアプリケーション SDK にアクセスし、はじめにのドキュメントから始めます

詳細については、オントロジー SDK のドキュメントをご覧ください。

Objects Monitoring が Automate に [GA]

公開日: 2023-11-02

11 月 20 日の週に一般提供となる Automate は、Objects Monitoring に代わる、完全な後方互換性を持つ新製品です。Foundry のすべての業務自動化に対する単一の入口となります。既存のオブジェクトモニターはすべて新しいアプリケーションに自動的に移行され、変更なく動作し続けます。

Automate の概要ページの全体像

Automate の概要ページの全体像

Automate では、オブジェクト条件に加えて時間条件を新たに設定し、条件が満たされたときに自動的に実行されるアクションや通知にリンクできます。Object Monitoring から多くの改善と拡張機能が加わり、自動化を作成するためのユーザーインターフェースを全面的に再設計しました。また、条件と効果の設定オプションが増え、プラットフォーム内の他のアプリケーションとのネイティブ統合も提供します。

柔軟な設定を可能にする新しい条件と効果

Automate では、有効期限のない自動化を作成できるだけでなく、さまざまな新しい条件、効果、ネイティブ統合を設定できるようになり、自動化の柔軟性がさらに高まります。

条件

  • 時間条件:スケジュールを設定し、事前に定義した時刻に効果を実行します(たとえば、「毎週月曜日の午前 9 時」)。
  • オブジェクトセット条件
    • オブジェクト変更条件:オブジェクトの任意のプロパティまたは特定のプロパティが変更されたときに、効果をトリガーします
    • 監視対象のオブジェクトセットをその場で指定できます(保存済みの Hubble 探索は不要になりました)
    • 新しい実行モード(既存のバッチモードに追加)
      • オブジェクトごとの実行:自動化をトリガーした各オブジェクトに対して、個別に効果をトリガーできます
      • グループごとの実行:事前に定義したグループに対して、効果をトリガーできます
    • Live Patch への対応:ライブで監視できるオブジェクトセットは、アクションによる変更を即座に反映します
  • 時間とオブジェクトセットを組み合わせた条件:事前に定義した時刻にオブジェクトセット条件を確認します(たとえば、「毎週月曜日の午前 9 時に、新しいアラートオブジェクトがある場合」)。

効果

  • 通知
    • プロパティに基づく受信者:オブジェクトプロパティを使用して、通知効果の受信者を動的に設定します
    • 添付ファイル:Notepad または Notepad テンプレートを選択し、メール通知に PDF として自動的に添付します
      • Notepad
      • Notepad テンプレート
        • オブジェクト条件から「影響を受けるオブジェクト」を渡すことに対応
    • 関数ベースの通知
      • 単一の「影響を受けるオブジェクト」、オブジェクト参照、オブジェクトリスト、オブジェクトセットのパラメーターを渡すことに対応
  • アクション
    • オブジェクトセットパラメーターとして動的なオブジェクトセット定義を指定することに対応

ネイティブ統合

  • Notepad とのネイティブ統合
    • Automate に切り替えることなく、Notepad から直接自動化を設定できます
  • Ontology Manager(OMA)とのネイティブ統合
    • OMA から自動化を設定し、特定のオブジェクトタイプまたはアクションタイプに関連付けられたすべての自動化を表示できます

開発ロードマップ

Automate の機能を拡張し、他の Foundry アプリケーションへの埋め込みをさらに進める予定です。特に、次の改善に注力します。

  • ストリーミングオブジェクトタイプへの対応
  • 実行制限を引き上げるためのインフラストラクチャの改善
  • Machinery とのネイティブ統合
  • Foundry ロジックとのネイティブ統合

詳細については、Automate のドキュメントをご覧ください。または、Automate のはじめにで使用方法をご確認ください。


その他の注目情報

データ統合 | Code Repositories

公開日: 2023-11-30

新しいリポジトリのガイダンス | Code Repositories で新しいリポジトリを作成するときに、編集するファイルについて役立つ候補が Foundry に表示されるようになりました。この機能は、変更すべき関連ファイルを推奨することで、新しいリポジトリのセットアップを効率化することを目的としています。

新しい Python トランスフォームリポジトリの作成時に初期化される新しい readme ファイルの表示。

Foundry Developer Console

公開日: 2023-11-30

SDK ジェネレーターの選択を改善 | パッケージマネージャーごとに、利用可能なすべてのジェネレーターバージョンから選択できるようになり、SDK 生成の柔軟性と制御性が向上しました。ジェネレーターのバージョンを選択し、生成するパッケージを指定するための新しいダイアログを導入し、全体的な操作性を改善しました。

管理 | Control Panel

公開日: 2023-11-30

クラウド ID 拡張機能が一般提供に | Control Panel のクラウド ID 拡張機能が一般提供となりました。クラウド ID を使用すると、固定の資格情報を使用せずにクラウドプロバイダーのリソースに認証できます。

クラウド ID の AWS 設定例

管理 | Control Panel

公開日: 2023-11-30

Workshop マップウィジェットと Foundry Map がカスタムベースレイヤーに対応 | この更新により、Workshop マップウィジェットと Foundry Map でカスタムベースレイヤーを使用できるようになり、地図による可視化の柔軟性が高まりました。Control Panel の Map セクションにある「Mapbox ベースレイヤーを有効化」トグルは、すべてのマップに適用されるようになりました。無効にすると、マップは設定された最初のカスタムベースレイヤーを使用します。また、Workshop にベーススタイルの「カスタム」選択肢が追加されました。

分析 | Quiver

公開日: 2023-11-30

時系列トランスフォームの改善 | Quiver の時系列トランスフォームが改善され、入力のパラメーター化、単位への対応、単位のオーバーライド、単位変換が可能になりました。これらの機能は、ネイティブに使用する時系列トランスフォームとトランスフォームテーブル内で使用する時系列トランスフォームの両方に適用され、より柔軟で効率的な操作性を提供します。

Quiver の時系列ボードのパラメーター化された入力

オントロジー | オントロジー管理

公開日: 2023-11-30

オントロジーの整理に向けたオブジェクトストレージフィルターの改善 | Ontology Manager アプリケーションに、オントロジーの整理を効率化する改良されたオブジェクトストレージフィルターが追加されました。不要なオブジェクトをより効率的に特定して削除できるようになり、オントロジーをより整理された状態に保てます。

管理 | Control Panel

公開日: 2023-11-30

クラウド ID の権限管理 | Control Panel にクラウド ID の新しい権限管理機能を導入しました。クラウドリソースのアクセスと権限を簡単に管理できます。

クラウド ID マネージャー

アプリ構築 | Slate

公開日: 2023-11-28

Slate のウィジェットナビゲーションを改善 | ウィジェットリストでウィジェットを選択することで、Slate の長いキャンバス上にあるウィジェットに簡単に移動できるようになりました。キャンバスは選択したウィジェットまで自動的にスクロールし、より効率的で使いやすい操作性を提供します。

アプリ構築 | Slate

公開日: 2023-11-28

全幅エディターパネルが利用可能に | Slate アプリケーションに全幅エディターパネルが追加され、すべてのスタックでデフォルトで有効になりました。この更新により、より広く快適な編集環境を利用できます。

データ統合 | Code Repositories

公開日: 2023-11-28

ローカル開発向けデータセットプレビューの改善 | ローカル開発中にファイルを含むデータセットをプレビューできるようになり、作業内容をより効率的にテスト・検証できます。この更新には、ファイルプレビュー機能の改善が含まれ、複数の入力ファイルと出力ファイルに対応しています。

アプリ構築 | Slate

公開日: 2023-11-28

Slate のウィンドウ間メッセージング | Slate がウィンドウ間メッセージングに対応し、slate.sendMessage アクションと slate.getMessage イベントを使用して、ブラウザーウィンドウ間でメッセージを送受信できるようになりました。この機能は、ウィンドウ間で通信するための、より柔軟で汎用的な方法を提供します。

データ統合 | Code Repositories

公開日: 2023-11-28

Task Runner を使用した TypeScript パッケージのインストール | functions-typescript テンプレートのバージョンが 0.523.0 以上の TypeScript Functions リポジトリで、Task Runner を使用したインストールが可能になりました。

この機能を使用するには、コードリポジトリのライブラリタブでパッケージを検索します。パッケージを選択した後、新しいライブラリの追加とインストールオプションを選択すると、Task Runner を使用してパッケージを自動的にインストールできます。これにより、リポジトリの package.json と package-lock.json の両方が自動的に更新されます。

詳細については、ドキュメントをご覧ください。

新しい「ライブラリの追加とインストール」ボタンは、Task Runner を使用して Code Repositories にパッケージをインストールします。

Artifact Repositories

公開日: 2023-11-28

npm パッケージの検索とインストールを改善 | Code Repositories の TypeScript Functions における npm パッケージの検索・インストールワークフローの機能が強化されました。以前は、npm パッケージを探せるのは外部の公開レジストリのみでした。今回、TypeScript 開発の操作性を改善し、TypeScript Functions の Code Repositories 内から、Artifacts Repositories または https://npmjs.com で公開済みの任意の npm パッケージを直接検索し、Code Repositories にインポートできるようになりました。また、カスタム TypeScript パッケージを Artifacts Repositories に直接公開できるようになり、開発者は任意のライブラリの機能を Foundry に直接インポートできます。詳細については、ドキュメントをご覧ください。

Code Repositories のライブラリサイドバーを使用して Functions リポジトリにパッケージを追加します。

アプリ構築 | Workshop

公開日: 2023-11-28

Workshop ホームページの更新 | Workshop のホームページが刷新され、さまざまなテンプレートからすぐに使用できるアプリケーションを簡単に作成できる機能が強化されました。独自のデータを簡単に入力し、モジュールにスムーズに統合するプロパティを選択できます。現在、受信トレイ、マップ、メトリクスダッシュボードのテンプレートが用意されており、今後さらに魅力的な選択肢が追加される予定です。

刷新された Workshop の初期ページに、すぐに使用できるテンプレートが追加されました

オントロジー | Vertex

公開日: 2023-11-28

Vertex の大規模グラフの性能を改善 | Vertex アプリケーションで、約 1,000 個のノードを持つ大規模なグラフ上でドラッグ選択するときの性能が大幅に向上しました。この改善により、大規模なデータセットを扱うユーザーは、よりスムーズで応答性の高い操作性を得られます。

オントロジー | オントロジー管理

公開日: 2023-11-28

Ontology Manager での編集内容の削除の安全性を強化 | Ontology Manager に追加の保護措置を導入し、Object Storage v2 でステータスが「アクティブ」のオブジェクトタイプの編集内容をすべて削除することを防止するようになりました。これにより、データの整合性を確保し、誤ってデータを失うリスクを軽減します。

分析 | Contour

公開日: 2023-11-28

ボードの折りたたみ | 可視化ボードを折りたたみ、パス上のスペースを確保して、大規模なパスの性能を向上させられるようになりました。ボードを折りたたむには、ボード右上のボードの内容を非表示にするオプションを選択します。ボードがパスに適用するすべてのトランスフォームは保持されますが、可視化は非表示になります。

折りたたまれた状態のチャートボード。選択は引き続き適用されていますが、可視化は非表示です。

セキュリティ | プロジェクト

公開日: 2023-11-28

データ変換のセキュリティを強化 | 更新された Job Spec 制限ポリシーを実装し、Foundry のデータ変換アーキテクチャのセキュリティ態勢を改善しました。この更新により、コード開発と Code Workbooks のトランスフォームで参照される入力データセットの制御が強化されます。この更新の影響を受けるトランスフォームは失敗し、根本原因を説明する詳細なメッセージがユーザーに表示されます。詳細については、プロジェクト参照と権限に関するドキュメントをご覧ください。

アプリ構築 | Workshop

公開日: 2023-11-28

新しいページテンプレートが利用可能に | Workshop で、ページ用の新しいレイアウトテンプレートが利用可能になりました。新しいページを作成すると、詳細、グリッド、受信トレイ、概要、設定の各表示を含む、スタイル設定済みの 5 個の新しいレイアウトから選択できます。各アイコンにカーソルを合わせると、選択前にレイアウトをプレビューできます。

Workshop のページ用の新しいレイアウトテンプレート

管理 | Resource Management

公開日: 2023-11-15

Resource Management アプリの概要ページにビジネスメトリクスを表示 | データ規模や 1 日の平均ユーザー数など、主要なビジネスメトリクスをハイライトできるようになりました。メトリクスはエンロールメント単位または使用量管理アカウント単位で設定できます。エンロールメント単位で設定したメトリクスは概要タブの上部に、使用量管理アカウント単位で設定したメトリクスは使用量管理アカウントタブに表示されます。

ビジネスメトリクスダッシュボード

オントロジー | オントロジー管理

公開日: 2023-11-13

アクションでのリソース選択を改善 | アクションパラメーターの設定で、文字列データ型のパラメーターに Foundry リソースセレクターの表示オプションを使用できるようになり、ワークフロー内でリソースを簡単に選択できます。これにより、オブジェクトとリソースの両方を創意工夫して使用するワークフローを、より簡単に作成できます。

文字列パラメーターの表示設定でリソースピッカーの選択肢を示すアクションフォーム設定。

オントロジー | オントロジー管理

公開日: 2023-11-13

Object Storage v2 の主キー変更を制限 | Object Storage v2 では編集済みのオブジェクトタイプの主キー変更に対応していないため、オントロジー管理で、OSv2 を基盤とし編集が行われたオブジェクトタイプの主キーを変更できないようになりました。この変更は、データの一貫性を確保し、潜在的な問題を防止します。

オントロジー | オントロジー管理

公開日: 2023-11-13

Ontology Manager のスキーマ移行インターフェースを改善 | Ontology Manager アプリケーションで、OSV2 の破壊的なスキーマ変更を行う際のスキーマ移行 UI を再設計しました。推奨される一連の移行を簡単に適用できるようになり、プロセスを効率化し、操作性を向上させます。

Ontology Manager の改善されたスキーマ移行インターフェース。

Foundry Developer Console

公開日: 2023-11-13

Developer Console に添付ファイルのドキュメントを追加 | TypeScript オントロジー SDK のドキュメントを生成するときに、関連するオントロジーのオブジェクトタイプ、アクション、関数に添付ファイルプロパティが含まれている場合、添付ファイルの操作に関するセクションが追加されるようになりました。

Developer Console で生成される添付ファイルの操作に関するドキュメントの例

Foundry Developer Console

公開日: 2023-11-13

Developer Console の関数選択を改善 | Developer Console で、対応していない入力や出力を持つ関数も選択できるようになり、柔軟性が向上しました。対応していないデータ型はドキュメントに記載され、失敗は CLI ログに表示されます。

モデル統合 | モデリング

公開日: 2023-11-13

ライブデプロイのモデル推論履歴 | モデル推論履歴は、モデリングのライブデプロイに送信されるすべての推論リクエスト(入力)と推論結果(出力)を記録する Foundry のデータセットです。この機能は、実行されたすべての推論の包括的な記録を提供することで操作性を高め、モデル性能の追跡と分析を改善します。

データ統合 | Code Repositories

公開日: 2023-11-13

テレメトリサービスの安定性を改善 | Foundry Telemetry Service を最適化し、QoS とトランザクション競合の例外が大幅に減少しました。これらの例外が 91% 減少したことで、より安定した信頼性の高い環境を利用できます。

アプリ構築 | Slate

公開日: 2023-11-13

Slate で strict モードを有効化 | すべてのスクリプトが ES6 モジュールとして実行されるため、Slate は「strict モード ↗」で動作するようになり、コード品質とエラー処理が改善されます。JavaScript のキーワードが厳密に予約されるようになったため、この更新は変数名に影響する可能性があります。

アプリ構築 | Slate

公開日: 2023-11-13

Slate のウィンドウ間メッセージングを強化 | Slate が、より柔軟なウィンドウ間メッセージングに対応しました。この新機能により、異なるブラウザーウィンドウ間でメッセージを送信でき、より統合されたシームレスな操作性を提供します。この実装は非常に汎用性が高く、実質的には window.postMessage 関数のラッパーと、受信イベントのリスナーとして機能します。slate.sendMessage アクションでメッセージを指定して任意の内容を送信し、メッセージを受信したときに特定の Slate アクションを選択的にトリガーできるようになりました。

オントロジー管理 | オントロジー

公開日: 2023-11-13

オブジェクトタイプの作成元パイプラインを表示 | Pipeline Builder で作成したオブジェクトタイプに、作成元のパイプラインを示すバナーが表示されるようになりました。Ontology Manager で編集が有効になっている場合でも表示されます。また、バナーには Ontology Manager での編集が有効になっているかどうかも表示されます。Pipeline Builder で作成したオブジェクトタイプが、データセットのビルドを目的とせず、オブジェクトタイプに直接データを投入する場合は、元データセットの代わりに Pipeline Builder パイプラインが表示されます。

データ統合 | Pipeline Builder

公開日: 2023-11-08

Pipeline Builder のオントロジー統合を強化 | Pipeline Builder がオントロジーの出力タイプに対応し、下流の本番アプリケーションとのシームレスな統合が可能になりました。Pipeline Builder 内でオブジェクトタイプまたはリンクタイプの出力を直接追加できるようになり、Ontology Manager でデータセットの出力をオブジェクトにリンクする必要がなくなりました。

データ加工ノードから新しいオブジェクトタイプの出力を追加します。 Pipeline Builder でオブジェクトタイプまたはリンクタイプの出力を追加します。

データ統合 | Code Repositories

公開日: 2023-11-08

デバッグジョブのエグゼキュータープロファイリングを改善 | エグゼキューターを定期的にプロファイリングすることで、デバッグジョブのエグゼキューター側の性能プロファイリングを改善しました。デフォルトでは、エグゼキューターを 5 分ごとに 1 分間プロファイリングし、性能の低下を特定して対処するための可視性を高めます。出力データセットの詳細タブのファイル表示から、各エグゼキューターとプロファイリング間隔のフレームグラフを含む HTML ファイルをダウンロードできます。

詳細タブからプロファイルをダウンロードします async-profiler のフレームグラフの例

モデル統合 | モデリング

公開日: 2023-11-08

モデル作成の操作性を改善 | Model Assets の作成プロセスを大幅に改善し、さまざまな種類のモデルを作成するための多様なガイド付き選択肢を提供します。また、Modeling Objectives アプリケーションのモデル登録ダイアログが、より多くのソースの種類とサンドボックスへの直接デプロイに対応し、新しく登録したモデルをすぐにテストできるようになりました。

Modeling Objectives の新しいモデル登録インターフェース。

Foundry Developer Console

公開日: 2023-11-08

Developer Console: groupby 構文の更新 | Foundry Developer Console で、一貫性と可読性を向上させるため、groupby の代わりに group_by 構文を使用するようになりました。

データ統合 | Pipeline Builder

公開日: 2023-11-08

入力サンプリングによるプレビューの高速化 | Pipeline Builder が入力サンプリングに対応し、入力データの割合を選択してプレビューを高速化できるようになりました。この機能は、ビルド時には入力全体を計算する動作を維持しながら、プレビュー速度を大幅に向上させます。

割合を指定して入力サンプリングの方法を設定します。 データセットを右クリックして、サンプリングの方法を表示または作成します。

データ統合 | Pipeline Builder

公開日: 2023-11-08

Pipeline Builder の地理空間データプレビューを改善 | 左下のパネルにある地理空間プレビューボードを使用して、Pipeline Builder 内で地理空間データの変換を地図上に直接プレビューできるようになりました。この機能を使用するには、プレビューテーブルで一連の地理空間データポイントを選択し、右クリックしてジオプレビューを開くを選択します。

データセットから選択した地理空間データポイントのプレビュー。 ジオプレビューで開く地理空間データポイントの選択。

Foundry Developer Console

公開日: 2023-11-06

SDK ベータ機能の利用を選択可能に | Foundry Developer Console で SDK のベータ機能の利用を選択できるようになりました。これにより、時系列プロパティなどの新機能を、すべてのユーザーに展開される前にテストして試せます。ベータ機能を有効にするには、パッケージ設定の「ベータ機能を有効化」オプションをオンにします。

TypeScript または Python のバインディング生成時にベータ機能を有効にする新しいセクションが追加された SDK 生成手順。

分析 | Notepad

公開日: 2023-11-06

Notepad テンプレートの条件付き選択 | 条件付き選択により、文字列テンプレート入力の値に基づいて、生成されるドキュメントにコンテンツを選択的に含められます。「if」セクションで条件を設定し、「then」セクションで結果を決定するルールを設定して、条件付きセクションの内容を非表示にするか表示するかを選択します。

Notepad テンプレートで利用可能な新しい条件付きセクション機能

データ統合 | Pipeline Builder

公開日: 2023-11-02

Pipeline Builder の検索パネル | 検索パネルを更新し、パイプライングラフとトランスフォームパスを検索する際の操作性を改善しました。新機能には、より明確なツールチップとラベル、Enter と Shift + Enter による結果間の移動、Ctrl + F(Windows)/ cmd + f(MacOS)による検索パネルの表示が含まれます。

複数の条件を組み合わせることができ、各条件で、ノード名、説明/テキストボード、列の参照、スキーマ名またはプロパティ名、トランスフォーム名、パラメーターの参照のうち、検索対象とする項目を切り替えられます。

複数の条件を追加し、各条件で検索する属性を切り替えます トランスフォームパス内を検索し、結果に移動してハイライトします 新しい検索サイドパネルを使用してグラフを検索します

データ統合 | Pipeline Builder

公開日: 2023-11-02

Pipeline Builder の提案がコメントに対応 | 提案にコメントを追加できるようになり、提案された変更についてユーザー間で議論しやすくなりました。

提案に対するコメント

分析 | Quiver

公開日: 2023-11-02

時系列の単位のオーバーライドと変換 | トランスフォームテーブルの列または文字列プロバイダーを使用して、時系列の単位を手動でオーバーライドできるようになりました。時系列単位トランスフォームと組み合わせると、1 個の時系列の単位を複数の時系列に伝播できます。

また、利用可能な単位変換を使用して、系列データの値を変換できるようになりました。利用可能な単位変換は、系列の基本単位、または指定されている場合はオーバーライドした単位に依存します。

時系列の単位変換 時系列の単位のオーバーライド