注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

AI の倫理とガバナンス

Palantir では、責任ある AI は後から付け加えるものではないと考えています。むしろ、テクノロジーを構築するうえでの根幹です。私たちのアプローチは、システムのライフサイクル全体を通じて責任ある AI の利用を可能にするソフトウェアの開発を中心としています。倫理的な考慮事項はモデル開発だけにとどまらず、データ基盤や処理パイプラインから、ユーザーインターフェースや人間の意思決定ワークフローに至るまで、テクノロジーシステム全体に及ぶものと捉えています。私たちのプラットフォームでは、倫理的な考慮事項を独立したコンプライアンス要件として扱うのではなく、開発ライフサイクル全体に責任ある AI の機能を組み込んでいます。

このドキュメントでは、責任ある AI 開発の8つの中核テーマを Palantir の AI プラットフォーム(AIP)がどのようにサポートするか、その概要を説明します。各テーマでは、信頼できる AI システムを実際に構築する際に役立つ機能やワークフローと、原則を結び付けています。このガイダンスの背景にある、より広範なプライバシーと市民的自由の原則および製品機能については、プライバシーと市民的自由の実践を参照してください。


公平性:公正で、偏りがなく、差別的でない

AI システムは包摂的でアクセスしやすく、個人や集団に対する不当な差別をもたらすものであってはなりません。

プラットフォームの機能

AIP は、データ内のバイアスの原因を特定し、モデルのバイアスを評価し、モデルの利用中に公平性に関する懸念を監視するための機能を備えています。

  • Sensitive Data Scanner は、データセット内の保護対象属性と潜在的なバイアスの原因を自動的に特定できます。これにより、モデルのトレーニング、評価、利用に影響が及ぶ前に、公平性のリスクを事前に評価できます。
  • Modeling Objectives でのサブセット評価では、評価データセット内の異なる集団にわたってモデルの性能を体系的に評価し、集計メトリクスでは見えなくなる可能性のある不均衡な影響を明らかにできます。たとえば、サブセット評価を使用すると、モデル評価を実行し、評価データセット内の人口統計学的な集団間でモデルの性能を簡単に比較できます。
  • AIP Evals では、多様なテストケースにわたって AIP Logic 関数の性能を評価できます。AIP Evals の実験を使用すると、モデルへの入力パラメーターをさらに調整して、モデルへの特定の入力の変化がモデルのレスポンスにどのような変化をもたらすかを把握できます。
  • データヘルスの監視では、データの代表性と品質を継続的に評価し、データセットにおいて特定の集団が系統的に過少または過剰に反映されている可能性を特定できます。

実装ワークフロー

チームは、Sensitive Data Scanner とデータヘルスの監視を使用して、モデル開発が始まる前にデータ基盤の保護対象属性や不均衡を検出し、データ準備プロセスの早い段階で公平性のリスクを特定できます。これは、データレベルでの潜在的なバイアスに対処するものです。ただし、高品質なデータを使用していても、モデル自体からバイアスが生じる可能性があります。そのため、Modeling Objectives によるサブセット評価と AIP Evals は、いずれも人口統計学的な集団間におけるモデル性能の不均衡を検出するための体系的なテストを提供します。いずれかのレベルでバイアスが検出された場合、チームは再サンプリング、代表性のあるデータの追加収集、アルゴリズムのアプローチの調整など、対象を絞った緩和策を実施できます。


説明可能性:解釈でき、理解でき、透明性がある

AI システムはブラックボックスであってはなりません。AI システムへの信頼を築くために、ユーザーはその仕組みを可能な限り理解できる必要があります。

プラットフォームの機能

AIP は、生成 AI の推論のデバッグから従来型のモデルの性能評価まで、AI システムの仕組みをユーザーが理解するためのツールを提供します。

  • Modeling Objectives 評価ダッシュボードは、特徴量の重要度分析、性能の内訳、技術的な関係者と非技術的な関係者の両方が理解できる評価結果を通じて、モデルの詳細な解釈を可能にします。
  • AIP Evals は、デフォルトとカスタムの両方の評価ライブラリを使用した体系的なテストと評価を可能にし、チームがそれぞれの専門分野の要件に合った方法でモデルの挙動を評価できるようにします。
  • AIP Logic ツールは、LLM による処理のみに依存するのではなく、特定のタスクをその目的に合わせて作られた解釈可能なツールに委任できるようにします。これにより、組み合わせ可能で監査可能なコンポーネントを通じて、より説明可能な AI システムを構築できます。
  • AIP Logic のデバッグ表示は、LLM ベースのシステム内の思考連鎖による推論とツールのオーケストレーションを可視化し、説明可能なコンポーネントへの透明な引き継ぎを通じて、システムがどのようにタスクを委任し、意思決定を行うかを示します。
  • オントロジーと AIP の観測可能性は、AI ワークフロー全体にわたる徹底した監視とデバッグの機能を提供します。詳細な実行トレース、性能メトリクス、システムの挙動に関するインサイトを提供し、チームによる AI システムの理解とトラブルシューティングに役立ちます。

実装ワークフロー

バージョン管理システムは、開発プロセス全体を通じて、モデル開発における決定とその根拠を自動的に記録します。生成 AI システムでは、AIP Logic のデバッグ表示によって、LLM がタスクをどのようにオーケストレーションし、説明可能なツールに委任するかをリアルタイムで可視化できます。また、オントロジーと AIP の観測可能性は、チームによるシステムの挙動の理解に役立つ包括的な実行トレースを提供します。チームは、LLM による処理のみに依存するのではなく、AIP Logic ツールを使用して特定のタスクを解釈可能なコンポーネントに委任することで、より透明性の高いシステムを設計できます。AIP Evals と Modeling Objectives によるテストと評価のアプローチは、技術チームとビジネスの関係者の両方にわかりやすい形式でモデルの性能メトリクスを提示することで、これらの機能を補完します。


信頼性:安全、セキュア、回復力、堅牢性

AI システムは、ライフサイクル全体を通じて安全性、セキュリティ、有効性を評価する機能を備えるように構築する必要があります。

プラットフォームの機能

AIP は、AI システムの安全かつ制御されたデプロイと継続的な監視を可能にし、ライフサイクル全体を通じて安全性と信頼性を確保します。

  • 従来の AI/ML 向けのモデルのデプロイには、直接デプロイと Modeling Objectives のライブデプロイがあります。どちらも制御されたプロセスを提供し、ガバナンスのニーズに応じて自動または手動でアップグレードするオプションを備えています。
  • 生成 AI 向けの 関数のバージョン管理とリリース管理 により、セマンティックバージョニング、下位互換性チェック、バージョン管理ワークフローを通じて、AIP Logic のデプロイを制御できます。
  • ロールバックの仕組み により、問題が検出されたときに以前のモデルバージョンに即座に戻し、モデルの障害やセキュリティ侵害による影響を最小限に抑えられます。
  • 推論履歴、システムアラート、継続的な評価を通じた包括的な監視により、モデルの性能低下やセキュリティ上の問題を迅速に検出できます。
  • アクセス制御とデータマーキング は、ユーザーロール、データの機密性、地理的要件に基づいたきめ細かなセキュリティ制限を提供し、AI システムがプライバシーとセキュリティの境界を守るようにします。
  • 地理的制限は、モデルのリクエストとレスポンスが指定された管轄区域内にとどまるようにし、異なるリージョンや法的枠組みにおける規制遵守要件への対応を支援します。
  • 保存時および転送時の暗号化は、セキュリティ責任共有モデルの中核をなす要素です。さらに、AI 開発ライフサイクル全体を通じて適用できる、データ保護のための高度な機能も備えています。
  • 容量制限により、管理者は LLM の使用を管理し、予期しない負荷の急増によるサービスの中断を防ぐことができます。需要が変動する状況でも、堅牢で安定した AI ワークフローを確保できます。

実装ワークフロー

アクセス制御とデータマーキングは、最初からセキュリティの境界を確立します。また、地理的制限により、モデルのリクエストとレスポンスが規制に準拠した管轄区域内にとどまるようにします。保存時および転送時の暗号化は、AI 開発ライフサイクル全体を通じて情報を保護します。モデルのデプロイとプレリリースの関数により、本番リリース前の段階的なテスト手順を徹底できる一方、容量制限は予期しない LLM 使用量の急増によるサービスの中断を防ぎます。リアルタイム監視システムは、セキュリティ、パフォーマンス、運用のメトリクスを継続的に監視し、ロールバック機能により、問題が検出されたときに即座に対応できます。


追跡可能性:監査可能、ガバナンス可能

AI システムは、関連する開発プロセス、データソース、モデルの構築に使用されるすべてのデータの来歴を文書化する機能を備える必要があります。

プラットフォームの機能

AIP は、データの来歴からデプロイに関する意思決定まで、AI 開発ライフサイクル全体にわたる包括的なドキュメントと監査証跡を自動的に記録します。

  • Data Lineageは、AI システムで使用されるデータソース、変換、依存関係をすべて可視化します。
  • Workflow Lineageは、意思決定のためのアプリケーションのロジックやアクションを支えるうえで、AI がどのように使用されているかを可視化します。
  • 監査ログは、すべてのシステムインタラクション、モデル評価、デプロイに関する意思決定を記録し、コンプライアンスと監督のための包括的な監査証跡を作成します。
  • Modeling Objectives のドキュメントは、すべてのプロジェクト情報、評価結果、意思決定の根拠を一元化し、多様な関係者の協働を可能にします。
  • Notepad のドキュメントテンプレートにより、モデルの目的、手法、制限に関する標準化された詳細な記録を作成でき、規制当局、監督者、その他の関係者と共有できます。
  • Resource Management による LLM コストガバナンスは、AI の使用コストとリソース消費を可視化し、組織が LLM のデプロイに関連する費用を追跡、監視、管理できるようにします。

実装ワークフロー

Data Lineage は、データが処理パイプラインを流れる際に来歴情報を自動的に記録し、データソースと変換をすべて可視化します。Workflow Lineage は、AI がアプリケーションのロジックと意思決定ワークフローをどのように支えているかを可視化します。監査ログは、すべてのシステムインタラクションと意思決定を記録します。また、LLM コストガバナンスはリソース消費と費用を追跡し、AI システムの運用の透明性を高めます。Notepad のドキュメントテンプレートと Modeling Objectives のドキュメントにより、チームは、プロジェクト情報、評価結果、意思決定の根拠を一元化した標準的な記録を、規制当局による審査や内部監査に適した形式で作成できます。


協働性:多様な関係者、分野横断

AI システムの構築は、科学者、エンジニア、分野の専門家、その他の関係者が協力する、分野横断的なプロセスである必要があります。

プラットフォームの機能

AIP は、柔軟なアクセス制御、共有開発環境、さまざまなスキルレベルのユーザーが利用できる評価フレームワークを通じて、多様な関係者の協働を支援します。

  • ロールベースの権限により、組織はガバナンス構造に合ったアクセス制御を設定でき、各段階で関係者が適切に関与するようにできます。
  • Code Workspaces と Code Repositories は、技術系と非技術系のどちらの参加者も支援する共同開発環境を提供します。
  • Workshop と共同分析ツールは、リアルタイムの共同データ分析を可能にし、異なる分野の関係者が共通の分析やインサイトに協力して取り組めるようにします。
  • 外部とのデータ共有および協働の制御は、ガバナンスによる監督とデータ保護基準を維持しながら、外部パートナーとの安全な協働を促進します。
  • ノーコード、ローコード、プロコードの評価フレームワークは、関係者のさまざまなスキルレベルに対応し、分野の専門家が標準的な技術メトリクスに加えて、独自の評価基準を定義できるようにします。

実装ワークフロー

ロールベースの権限と体系化された承認ワークフローは、プロジェクト開始時から明確な協働の枠組みを確立します。Code Workspaces と Code Repositories は、技術系と非技術系の参加者が AI 開発に共同で取り組める環境を提供します。Workshop のツールは、異なる分野にまたがるリアルタイムの共同分析を可能にし、外部とのデータ共有の制御は安全なパートナーシップを促進します。柔軟な評価フレームワークにより、分野の専門家、コンプライアンス担当者、技術チームは、個別に作業するのではなく、開発プロセスの適切な時点でそれぞれの専門知識を生かして貢献できます。


説明責任:法的責任、責任

AI システムのさまざまな部分に責任を持つ人々について、ロールとワークフローを明確に定義する必要があります。

プラットフォームの機能

AIP は、Granular Permissions、包括的な監査証跡、体系的な承認ワークフローを通じて、責任の所在を明確にします。

  • グループとロールによるGranular Permissions の管理は、AI の開発、デプロイ、利用のあらゆる側面で責任の所在を明確にします。
  • 包括的な監査証跡は、誰が、どのような意思決定を、いつ行ったかを記録し、システムの結果に対する説明責任を明確にします。
  • チェックによる体系的な承認ワークフローは、適切な権限を持つ担当者が重要な意思決定をレビューし、承認することを保証します。
  • Checkpoints は、確認と根拠の提示を一元的に行うワークフローを可能にし、業務ワークフローで AI が提案する重要な意思決定を関係者がレビューし、承認することを保証します。

実装ワークフロー

Granular Permissions の管理は、AI のライフサイクル全体で誰がどのアクションを実行できるかを定義し、最初から明確な責任体制を確立します。完全な監査証跡が意思決定者とその根拠を自動的に記録する一方、チェックと Checkpoint による体系的な承認ワークフローが、組織的なレビュープロセスを確立します。特に Checkpoint を使用すると、関係者は業務ワークフローで AI が提案した意思決定を確認し、その根拠を示すことができます。これにより、追加の手動追跡作業を必要とせずに、監査と検証が可能な、透明性の高い責任体制が確立されます。


人間中心:参加型、社会に有益

AI システムは、個人、社会、環境全体に利益をもたらす必要があります。人間の意思決定に取って代わるのではなく、それを強化する必要があります。

プラットフォームの機能

AIP は、体系的な意思決定支援の枠組みと、人間による監督を必須とする仕組みを通じて、AI が人間の意思決定に取って代わるのではなく、それを強化することを保証します。

  • オントロジーに基づく意思決定支援は、人間と AI の協働のための体系的な枠組みを提供し、AI の推奨事項が、人間の判断に取って代わるのではなく、それを強化するコンテキストで提示されることを保証します。
  • オントロジーのアクションと承認プロセスによる人間の監督ワークフローは、AI のインサイトを活用しながら、重要な意思決定が引き続き人間の管理下に置かれることを保証します。
  • ダッシュボードと可視化機能 は、人間が解釈できる形式で AI の出力を提示し、関係者が複雑な分析結果を理解して、AI の推奨事項に基づき十分な情報を踏まえた意思決定を行えるようにします。
  • Checkpoint を用いたワークフローの自動化は、重要な意思決定段階で人間によるレビューを必須とする、体系的な自動化の手法を提供し、業務効率を維持しながら適切な監督を確保します。
  • オプトアウトとフォールバックの仕組みをアプリケーションに組み込むことで、AI が支援するプロセスに対する管理権限をユーザーが維持できるようにします。
  • フィードバックループの統合により、人間の意思決定から継続的に学習し、AI の推奨事項を時間とともに改善できます。

実装ワークフロー

オントロジーに基づく意思決定支援の枠組みは、人間の主体性と意思決定権限を維持する体系的なワークフローの中で、AI のインサイトを提示します。アクションと承認プロセスによる人間の監督ワークフローは、重要な意思決定が引き続き人間の管理下に置かれることを保証します。ダッシュボードと可視化機能は、複雑な AI の出力を、十分な情報を踏まえた人間の判断を可能にする形式に変換します。また、人間による確認のための Checkpoint を備えたワークフローの自動化は、重要な意思決定段階で適切な監督を確保します。オプトアウトとフォールバックの仕組みをアプリケーションに組み込むことで、AI が支援するプロセスに対する管理権限をユーザーが維持できるように設計できます。フィードバックループの統合は、人間の意思決定を取り込んで AI の推奨事項を継続的に改善し、人間の専門知識に取って代わるのではなく、それを強化する協働型のインテリジェンスのアプローチを実現します。


責任ある AI をはじめる

Palantir の AI プラットフォームは、責任ある AI を場当たり的ではなく、体系的に実践できるようにします。このプラットフォームは、責任ある AI の原則を組み込んだ確立されたワークフローを通じて、あらゆるスキルレベルと専門分野のユーザーを導きます。

  1. 個々の構成ツールだけでなく、完全に統合されたシステムに着目する: データ基盤と処理パイプラインから、ユーザーインターフェースと人間の意思決定ワークフローに至るまで、AI システムを全体として捉えます。Data Lineage や Pipeline Builder などの機能を使用して、システム全体でコンポーネントがどのようにつながっているかを理解します。
  2. 技術の限界を認識する: AI システムに何ができて何ができないか、何を許可すべきで何を許可すべきでないかを明確に評価することからはじめます。課題を起点としたモデリングのアプローチを使用して、開発をはじめる前に適切な範囲と制限を定義します。
  3. 解決すべきでない問題を解決しない: ユースケースが AI による介入に適しているかを評価します。開発をはじめる前に、法律、倫理、コミュニティの規範を考慮します。問題によっては、技術的には解決可能でも、数理最適化の対象としては適切でない場合があります。
  4. 健全なデータサイエンスのための方法論上のベストプラクティスに従う: プラットフォームに組み込まれた評価フレームワーク、バイアス検出機能、公平性評価ツールを活用します。Sensitive Data Scanner を使用して保護対象の属性を特定し、サブセット評価を用いて不均衡な影響を評価し、責任ある特徴量の使用について確立された方法論に従います。
  5. AI が責任と説明責任を持ち、人間を中心とする状態を維持する: 人間の意思決定に取って代わるのではなく、それを強化する AI システムを設計します。オントロジーに基づく意思決定支援、人間の監督ワークフロー、フィードバックループを使用して、監査証跡と承認ワークフローを通じて明確な説明責任を維持しながら、AI の推奨事項が人間の判断を補完するようにします。
  6. 多様な関係者の参画を促進する: 組織のガバナンス体制に合ったチェックと承認ワークフローを設定します。Workshop などの共同作業ツールやロールに基づく権限を使用して、分野の専門家、コンプライアンス担当者、技術チーム、その他の関係者が、AI のライフサイクル全体を通じて専門知識を活かせるようにします。
  7. 技術、ガバナンス、文化に対する認識を確保する: プラットフォームの技術的機能(暗号化、アクセス制御、監視)を、ガバナンスの枠組み(承認ワークフロー、監査証跡)および文化的な取り組み(トレーニング、関係者の参画)と組み合わせ、組織の状況に合った、幅広い参加を可能にする責任ある AI の実践を確立します。

結論

責任ある AI は、イノベーションを制約するものではありません。むしろ、重要な意思決定に使用できるほど AI システムの信頼性を高めるものです。Palantir は、開発ライフサイクルのあらゆる側面に責任ある AI の原則を組み込み、技術的に高度であるだけでなく、倫理的に健全で、運用面でも信頼できる AI システムを組織が構築できるようにします。

AI のデプロイを取り巻く状況全体を考慮する統合的なアプローチにより、ユーザーが責任とガバナンスの最高水準を維持しながら、最も困難な課題を解決できるよう支援します。