モデル推論履歴

モデル推論履歴は、Modeling Objective のライブデプロイに送信されるすべての推論リクエスト（入力）と推論結果（出力）を記録する Foundry のデータセットです。これにより、次のようなさまざまなワークフローを実現できます。

• ドリフト検出： モデル推論履歴は、モデルのパフォーマンスの経時的な変化を検出するのに役立ちます。この変化は、基礎となるデータ分布のドリフトを示している可能性があります。推論履歴を調べることで、モデルの精度がどのように変化しているかについて、有益なインサイトを得られます。
• 継続的な再学習： モデル推論履歴は、モデルの過去の予測に基づき、新しいデータを使ってモデルを繰り返し学習する、継続的な再学習のシナリオで使用できます。
• モデルのパフォーマンス評価： 推論の入力と出力の履歴を使って、モデルのパフォーマンスを経時的に評価できます。推論履歴は、モデルのパフォーマンスのパターンや傾向を特定するのに役立ちます。
• 使用状況の分析： 推論履歴は、モデルがどこから、どの程度の頻度で呼び出されているかを把握するのに役立ちます。モデルの使用パターンに関するこれらのインサイトは、リソースの割り当てや最適化に関する判断に活用できます。

モデル推論履歴の使用方法

モデル推論履歴を作成するには、Modeling Objective のデプロイページに移動し、モデル推論履歴を追加するライブデプロイを選択します。モデル推論履歴カードで、データセットを作成をクリックします。新しいモデル推論履歴を作成ダイアログが開きます。

新しいモデル推論履歴を作成ダイアログで、モデル推論履歴のデータセット名を入力し、場所を指定します。入力と出力には機密情報が含まれる可能性があり、適切なセキュリティ権限を持つユーザーのみがアクセスできるようにする必要があるため、セキュリティマーキングを適用することを強く推奨します。

モデル推論履歴が作成されると、次の情報がデータセットに記録されます。

• timestamp：入力リクエストのタイムスタンプ
• user_id：リクエストを送信したユーザーの Foundry ユーザーID
• request_uuid：リクエストの一意の識別子
• live_rid：Modeling のライブデプロイのリソース識別子
• objective_rid：Modeling Objective のリソース識別子
• model_rid：モデルアセットのリソース識別子
• model_version_rid：モデルアセットのバージョンのリソース識別子
• input：モデルに送信された入力の JSON 表現
• output：モデル出力の JSON 表現
• error：指定された入力に対して推論を実行する際にモデルで発生した、詳細なエラーメッセージまたはスタックトレース

モデル推論履歴を一時的に有効または無効にするには、モデル推論履歴カードの右上にある記録を有効化トグルをクリックします。

モデル推論履歴を永続的に無効にするには、モデル推論履歴カードのデータセットの右側にある外すを選択します。

よくある質問（FAQ）

ライブデプロイにモデル推論履歴を設定するには、どのような権限が必要ですか？

モデル推論履歴を有効にするには、ユーザーに Gatekeeper 権限 foundry-ml-live:edit-inference-ledger が必要です。通常、この権限は Modeling Objective の「所有者」ロールによって付与されます。

モデル推論履歴データセットはどこに保存できますか？

入力と出力には機密情報が含まれる可能性があるため、データセットは親の Modeling Objective と同じプロジェクトに保存する必要があります。

モデル推論履歴の入力と出力を既存のデータセットに書き込むことはできますか？

モデル推論履歴が指定されたスキーマと一致するようにするため、モデル推論履歴用に既存のデータセットを選択することはできません。

モデル推論履歴を外すとどうなりますか？

モデル推論履歴を外しても、データセットは削除されません。ただし、Foundry はそのデータセットへの新しいレコードの書き込みを停止します。

モデル推論履歴を一時的に有効または無効にするにはどうすればよいですか？

記録トグルを使って、モデル推論履歴を一時的に有効または無効にできます。

すべての推論入力がモデル推論履歴に記録される保証はありますか？

すべての入力と出力が推論履歴に記録されるとは限りません。プラットフォームのパフォーマンスを維持するため、モデル推論履歴への書き込みに失敗したリクエストは再試行されません。