注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

AI 倫理とガバナンス

Palantir では、責任ある AI は後から付け加えるものではなく、テクノロジーを構築するうえでの基盤であると考えています。私たちのアプローチは、システムのライフサイクル全体を通じて責任ある AI の利用を可能にするソフトウェアの開発を中心としています。倫理的な配慮はモデル開発だけにとどまらず、データ基盤や処理パイプラインから、ユーザーインターフェースや人間の意思決定ワークフローまで、技術システム全体に及ぶものと捉えています。倫理的な配慮を独立したコンプライアンス要件として扱うのではなく、開発ライフサイクル全体に責任ある AI のための機能を統合しています。

このドキュメントでは、Palantir の AI プラットフォーム (AIP) が、責任ある AI 開発の8つの中核テーマをどのようにサポートするか、その概要を説明します。各テーマでは、原則と、ユーザーが信頼できる AI システムを実際に構築するうえで役立つ機能やワークフローを結び付けています。このガイダンスの背景にある、より広範なプライバシーと市民的自由の原則、および製品の機能については、プライバシーと市民的自由の実践をご覧ください。


公平性:公正で、偏りがなく、差別的でないこと

AI システムは、幅広い人々を包摂し、誰もが利用できるものであるべきであり、個人や集団に対する不当な差別をもたらすべきではありません。

プラットフォームの機能

AIP は、データ内のバイアスの要因を特定し、モデルのバイアスを評価し、モデルの利用中に公平性に関する懸念を監視するための機能を提供します。

  • Sensitive Data Scanner は、データセット内の保護対象属性や潜在的なバイアスの要因を自動的に特定できるため、モデルのトレーニング、評価、利用に影響が及ぶ前に、公平性のリスクを事前に評価できます。
  • Modeling Objectives でのサブセット評価では、評価データセット内の異なるグループにわたってモデルの性能を体系的に評価し、集計メトリクスでは見えない可能性がある不均等な影響を明らかにできます。たとえば、サブセット評価を使用してモデル評価を実行し、評価データセット内の人口統計上のグループ間でモデルの性能を簡単に比較できます。
  • AIP Evals では、多様なテストケースにわたって AIP Logic 関数の性能を評価できます。AIP Evals の実験では、モデルへの入力パラメーターをさらに調整し、特定の入力の変更によってモデルのレスポンスがどのように変わる可能性があるかを理解できます。
  • データの正常性監視では、データの代表性と品質を継続的に評価し、データセット内で特定の集団が系統的に過少または過剰に表されている可能性を特定するのに役立ちます。

実装ワークフロー

チームは、Sensitive Data Scanner とデータの正常性監視を使用して、モデル開発を開始する前にデータ基盤内の保護対象属性や不均衡を検出し、データ準備プロセスの早い段階で公平性のリスクを特定できます。これにより、データレベルで潜在的なバイアスに対処できます。ただし、高品質なデータを使用していても、モデル自体からバイアスが生じることがあります。そのため、Modeling Objectives によるサブセット評価と AIP Evals の両方が、人口統計上のグループ間でモデルの性能に差がないかを検出するための体系的なテストを提供します。いずれかのレベルでバイアスが検出された場合、チームは再サンプリング、代表性のあるデータの追加収集、アルゴリズムによるアプローチの調整など、対象を絞った軽減策を実施できます。


説明可能性:解釈でき、理解しやすく、透明であること

AI システムはブラックボックスであるべきではありません。AI システムへの信頼を築くには、ユーザーがその仕組みを可能な限り理解できるようにするべきです。

プラットフォームの機能

AIP は、生成 AI の推論のデバッグから従来型モデルの性能評価まで、AI システムの仕組みをユーザーが理解するためのツールを提供します。

  • Modeling Objectives 評価ダッシュボードは、特徴量の重要度分析、性能の内訳、技術部門と非技術部門の関係者の両方が理解できる評価結果を通じて、モデルを詳細に解釈できるようにします。
  • AIP Evals は、デフォルトとカスタムの両方の評価ライブラリを使用した体系的なテストと評価を可能にし、チームが専門領域固有の要件に合った方法でモデルの動作を評価できるようにします。
  • AIP Logic ツールでは、LLM による処理だけに頼るのではなく、特定の目的に合わせて構築された解釈可能なツールに特定のタスクを委任できます。組み合わせ可能で監査可能なコンポーネントを通じて、より説明可能な AI システムを構築できます。
  • AIP Logic のデバッグ表示では、LLM ベースのシステム内の思考連鎖による推論とツールのオーケストレーションを可視化します。説明可能なコンポーネントへの透明な引き継ぎを通じて、システムがどのようにタスクを委任し、意思決定を行うかを示します。
  • オントロジーと AIP の観測可能性は、AI ワークフロー全体にわたる詳細な監視機能とデバッグ機能を提供します。詳細な実行トレース、性能メトリクス、システムの動作に関するインサイトにより、チームが AI システムを理解し、トラブルシューティングするのに役立ちます。

実装ワークフロー

バージョン管理システムは、開発プロセス全体を通じて、モデル開発における意思決定とその根拠を自動的に記録します。生成 AI システムでは、AIP Logic のデバッグ表示によって、LLM がどのようにタスクを調整し、説明可能なツールに委任するかをリアルタイムで可視化します。また、オントロジーと AIP の観測可能性は、チームがシステムの動作を理解するのに役立つ包括的な実行トレースを提供します。チームは、LLM による処理だけに頼るのではなく、AIP Logic ツールを使用して特定のタスクを解釈可能なコンポーネントに委任することで、より透明性の高いシステムを設計できます。AIP Evals と Modeling Objectives を通じたテストおよび評価のアプローチは、技術チームとビジネス部門の関係者の両方が理解しやすい形式でモデルの性能メトリクスを提示することで、これらの機能を補完します。


信頼性:安全、セキュア、回復力、堅牢性

AI システムは、ライフサイクル全体を通じて安全性、セキュリティ、有効性を評価する機能を備えるように構築する必要があります。

プラットフォームの機能

AIP は、AI システムのセキュアで管理されたデプロイと継続的な監視を可能にし、ライフサイクル全体を通じて安全性と信頼性を確保します。

  • 従来の AI/ML 向けのモデルのデプロイには、直接デプロイと Modeling Objectives のライブデプロイが含まれます。どちらも管理されたプロセスを提供し、ガバナンスのニーズに応じて自動または手動のアップグレードを選択できます。
  • 生成 AI 向けの 関数のバージョン管理とリリース管理 により、セマンティックバージョニング、下位互換性チェック、バージョン管理ワークフローを通じて、AIP Logic のデプロイを管理できます。
  • ロールバックの仕組み により、問題が検出されたときに以前のモデルバージョンへ即座に戻すことができ、モデルの障害やセキュリティ侵害の影響を最小限に抑えます。
  • 推論履歴、システムアラート、継続的な評価による包括的な監視により、モデルの性能低下やセキュリティの問題を迅速に検出できます。
  • アクセス制御とデータマーキング は、ユーザーロール、データの機密性、地理的要件に基づくきめ細かなセキュリティ制限を提供し、AI システムがプライバシーとセキュリティの境界を遵守するようにします。
  • 地理的制限は、モデルのリクエストとレスポンスが指定された管轄区域内にとどまるようにし、異なる地域や法的枠組みにおける規制遵守要件への対応を支援します。
  • 保存時および転送時の暗号化は、セキュリティの共有責任モデルの中核をなす要素です。さらに、AI 開発ライフサイクル全体に適用できる高度なデータ保護機能も備えています。
  • 容量制限により、管理者は LLM の使用量を管理し、予期しない負荷の急増によるサービスの中断を防ぐことができます。これにより、需要が変動する状況でも堅牢で安定した AI ワークフローを確保します。

実装ワークフロー

アクセス制御とデータマーキングにより、最初からセキュリティの境界を確立し、地理的制限によってモデルのリクエストとレスポンスが規制に準拠した管轄区域内にとどまるようにします。保存時および転送時の暗号化は、AI 開発ライフサイクル全体を通じて情報を保護します。モデルのデプロイとプレリリース関数により、本番リリース前の段階的なテスト手順を必須にできます。また、容量制限は、予期しない LLM 使用量の急増によるサービスの中断を防ぎます。リアルタイム監視システムは、セキュリティ、性能、運用メトリクスを継続的に監視し、ロールバック機能によって問題の検出時に即座に対応できます。


追跡可能性:監査可能、ガバナンス可能

AI システムは、関連する開発プロセス、データソース、モデル構築に使用したすべてのデータの来歴を記録する機能を提供する必要があります。

プラットフォームの機能

AIP は、データの来歴からデプロイの決定に至るまで、AI 開発ライフサイクル全体にわたる包括的なドキュメントと監査証跡を自動的に記録します。

  • Data Lineage は、AI システムで使用されるデータソース、変換、依存関係をすべて可視化します。
  • Workflow Lineage は、意思決定のためのアプリケーションのロジックとアクションに AI がどのように活用されているかを可視化します。
  • 監査ログは、すべてのシステムインタラクション、モデル評価、デプロイの決定を記録し、コンプライアンスと監督のための包括的な監査証跡を作成します。
  • Modeling Objectives のドキュメントは、すべてのプロジェクト情報、評価結果、意思決定の根拠を一元化し、多様なステークホルダーの連携を可能にします。
  • Notepad のドキュメントテンプレートにより、モデルの目的、手法、制約について標準化された詳細な記録を作成し、規制当局、監督者、その他のステークホルダーと共有できます。
  • Resource Management による LLM コストガバナンスは、AI の使用コストとリソース消費量を可視化し、組織が LLM のデプロイに伴う費用を追跡、監視、管理できるようにします。

実装ワークフロー

Data Lineage は、データが処理パイプラインを流れる際に来歴情報を自動的に記録し、データソースと変換をすべて可視化します。Workflow Lineage は、アプリケーションのロジックと意思決定ワークフローに AI がどのように活用されているかを可視化します。監査ログはすべてのシステムインタラクションと意思決定を記録し、LLM コストガバナンスはリソース消費量と費用を追跡することで、AI システムの運用の透明性を高めます。Notepad のドキュメントテンプレートと Modeling Objectives のドキュメントにより、チームは、規制当局による審査や内部監査に適した形式でプロジェクト情報、評価結果、意思決定の根拠を一元化した、標準化された記録を作成できます。


協働性:多様なステークホルダー、学際的

AI システムの構築は、科学者、エンジニア、ドメイン専門家、その他のステークホルダーが協力する学際的なプロセスである必要があります。

プラットフォームの機能

AIP は、柔軟なアクセス制御、共有開発環境、さまざまなスキルレベルのユーザーが利用できる評価フレームワークを通じて、多様なステークホルダーの連携を支援します。

  • ロールベースの権限により、組織はガバナンス構造に合ったアクセス制御を設定し、各段階でステークホルダーが適切に関与するようにできます。
  • Code Workspaces と Code Repositories は、技術者と非技術者の両方が参加できる共同開発環境を提供します。
  • Workshop と共同分析ツールは、リアルタイムでの共同データ分析を可能にし、異なる分野のステークホルダーが共通の分析やインサイトに協力して取り組めるようにします。
  • 外部データ共有と連携の制御は、ガバナンスによる監督とデータ保護基準を維持しながら、外部パートナーとの安全な連携を促進します。
  • ノーコード、ローコード、プロコードの評価フレームワークは、ステークホルダーのさまざまなスキルレベルに対応し、ドメイン専門家が標準的な技術メトリクスに加えて独自の評価基準を定義できるようにします。

実装ワークフロー

ロールベースの権限と体系的な承認ワークフローにより、プロジェクトの開始時から明確な連携の枠組みを確立します。Code Workspaces と Code Repositories は、技術者と非技術者が AI 開発に共同で取り組める環境を提供します。Workshop のツールは、異なる分野間でのリアルタイムの共同分析を可能にし、外部データ共有の制御は安全なパートナーシップを促進します。柔軟な評価フレームワークにより、ドメイン専門家、コンプライアンス担当者、技術チームが個別に作業するのではなく、開発プロセスの適切な時点でそれぞれの専門知識を活かせるようにします。


説明責任:責任の所在と遂行責任

AI システムのさまざまな部分を担当する人々の役割とワークフローを明確に定義する必要があります。

プラットフォームの機能

AIP は、Granular Permissions、包括的な監査証跡、体系化された承認ワークフローを通じて、責任の所在とつながりを明確にします。

  • グループとロールによる Granular Permissions の管理により、AI の開発、デプロイ、利用のあらゆる側面で、責任の所在とつながりが明確になります。
  • 包括的な監査証跡は、誰がどの意思決定をいつ行ったかを記録し、システムの結果に対する説明責任を明確にします。
  • Audit Explorer を使用すると、ガバナンスチームは監査ログを検索して確認し、誰がどの操作をいつ行ったかを把握できます。検索自体も記録されるため、監査データのレビューも監査できます。
  • チェックによる体系化された承認ワークフローは、適切な権限を持つ担当者が重要な意思決定をレビューし、承認することを保証します。
  • Checkpoints は、了承と理由の提示のためのワークフローを一元化し、運用ワークフローで AI が提案する重要な意思決定を、関係者がレビューして承認することを保証します。

実装ワークフロー

Granular Permissions の管理により、AI ライフサイクル全体を通じて誰がどの操作を行えるかを定義し、最初から明確な説明責任の体制を確立します。完全な監査証跡によって意思決定者とその根拠が自動的に記録され、ガバナンスチームは Audit Explorer でそれらを確認できます。チェックと Checkpoint による体系化された承認ワークフローは、体系的なレビュープロセスを構築します。特に Checkpoints では、運用ワークフローで AI が提案する意思決定を関係者が了承し、その理由を提示できます。これにより、手作業での追加の追跡を必要とせずに、監査と検証が可能な、透明性のある責任のつながりが構築されます。


人間中心:参加型で、社会に利益をもたらす

AI システムは、個人、社会、環境全体に利益をもたらす必要があります。人間の意思決定を置き換えるのではなく、強化する必要があります。

プラットフォームの機能

AIP は、体系化された意思決定支援フレームワークと人間による監督を必須とする仕組みを通じて、AI が人間の意思決定を置き換えるのではなく、強化することを保証します。

  • オントロジーに基づく意思決定支援は、人間と AI の協働のための体系化されたフレームワークを提供し、人間の判断を置き換えるのではなく強化するコンテキストの中で AI の推奨事項が提示されることを保証します。
  • オントロジーアクションと承認プロセスによる人間の監督ワークフローは、AI のインサイトを活用しながら、重要な意思決定が引き続き人間の管理下にあることを保証します。
  • ダッシュボードと可視化機能 は、AI の出力を人間が解釈できる形式で提示し、関係者が複雑な分析結果を理解して、AI の推奨事項に基づく十分な情報を踏まえた意思決定を行えるようにします。
  • Checkpoints によるワークフローの自動化は、重要な意思決定段階で人間によるレビューを必須とするポイントを含む、自動化への体系的なアプローチを提供し、運用効率を維持しながら適切な監督を保証します。
  • オプトアウトとフォールバックの仕組みをアプリケーションに組み込むことで、AI 支援プロセスに対するユーザーの管理権を維持できます。
  • フィードバックループの統合により、人間の意思決定から継続的に学習し、AI の推奨事項を時間とともに改善できます。

実装ワークフロー

オントロジーに基づく意思決定支援フレームワークは、人間の主体性と意思決定権を維持する体系化されたワークフローの中で、AI のインサイトを提示します。アクションと承認プロセスによる人間の監督ワークフローは、重要な意思決定が引き続き人間の管理下にあることを保証します。ダッシュボードと可視化機能は、複雑な AI の出力を、十分な情報を踏まえて人間が判断できる形式に変換します。また、人間による Checkpoint を伴うワークフローの自動化は、重要な意思決定段階で適切な監督を保証します。オプトアウトとフォールバックの仕組みをアプリケーションに組み込むことで、AI 支援プロセスに対するユーザーの管理権を維持できます。フィードバックループの統合は、人間の意思決定を収集して AI の推奨事項を継続的に改善し、人間の専門性を置き換えるのではなく強化する、協働型の知能活用アプローチを構築します。


責任ある AI の利用をはじめる

Palantir の AI プラットフォームは、責任ある AI を場当たり的なものではなく、体系的なものにします。このプラットフォームは、スキルレベルや専門分野を問わず、すべてのユーザーを、責任ある AI の原則を組み込んだ確立されたワークフローへと導きます。

  1. 構成ツールだけでなく、完全に統合されたシステムに注目する: データ基盤や処理パイプラインから、ユーザーインターフェースや人間の意思決定ワークフローまで、AI システムを全体として捉えます。Data Lineage や Pipeline Builder などの機能を使用して、システム全体で構成要素がどのようにつながっているかを把握します。
  2. 技術の限界を認識する: AI システムにできることとできないこと、そして許可すべきことと許可すべきでないことを明確に評価することからはじめます。課題を起点としたモデリングアプローチを使用して、開発をはじめる前に適切な範囲と制限を定義します。
  3. 解決すべきでない問題を解決しない: ユースケースに AI を介在させることが適切かどうかを評価します。開発に着手する前に、法律、倫理、コミュニティの規範を考慮します。技術的には実現可能でも、数学的な最適化には適さない問題もあります。
  4. 健全なデータサイエンスのために、方法論上のベストプラクティスを遵守する: プラットフォームに組み込まれた評価フレームワーク、バイアス検出機能、公平性評価ツールを活用します。Sensitive Data Scanner を使用して保護対象の属性を特定し、サブセット評価を用いて不均衡な影響を評価し、特徴量を責任を持って使用するための確立された方法論に従います。
  5. AI の責任、説明責任、人間中心の姿勢を維持する: 人間の意思決定を置き換えるのではなく、強化する AI システムを設計します。オントロジーに基づく意思決定支援、人間の監督ワークフロー、フィードバックループを使用し、監査証跡と承認ワークフローを通じて明確な説明責任を維持しながら、AI の推奨事項が人間の判断を補完するようにします。
  6. 多様な関係者の参加を促進する: 組織のガバナンス体制に合ったチェックと承認ワークフローを設定します。Workshop などの共同作業ツールやロールに基づく権限を使用して、分野の専門家、コンプライアンス担当者、技術チーム、そのほかの関係者が、AI ライフサイクル全体を通じて専門知識を活かせるようにします。
  7. 技術、ガバナンス、文化に関する理解を確保する: プラットフォームの技術的な機能(暗号化、アクセス制御、監視)を、ガバナンスのフレームワーク(承認ワークフロー、監査証跡)および文化的な実践(トレーニング、関係者の参加)と組み合わせ、組織の状況に合った、幅広い人々が参加できる責任ある AI の実践を構築します。

結論

責任ある AI は、イノベーションの制約ではありません。むしろ、重要な意思決定に利用できるほどの信頼性を AI システムにもたらすものです。Palantir は、開発ライフサイクルのあらゆる側面に責任ある AI の原則を組み込み、技術的に高度であるだけでなく、倫理的に健全で、運用上も信頼できる AI システムを組織が構築できるようにします。

AI のデプロイを取り巻く状況全体を考慮した統合的なアプローチを採ることで、ユーザーが責任とガバナンスに関する最高水準を維持しながら、最も困難な課題を解決できるよう支援します。