注: 以下の翻訳の正確性は検証されていません。AIPを利用して英語版の原文から機械的に翻訳されたものです。

モデル推論履歴

モデル推論履歴は、Foundry 内のデータセットで、ライブデプロイメントに送られるすべての推論リクエスト（入力）と推論結果（出力）をキャプチャします。これにより、以下のような多くのワークフローが可能になります。

ドリフト検出： モデル推論履歴は、モデルの性能が時間とともに変化することを検出し、基礎となるデータ分布のドリフトを示唆するかもしれません。推論履歴を調べることで、モデルの精度がどのように進化しているかについての貴重な洞察が得られます。
継続的な再トレーニング： モデル推論履歴は、モデルの前回の予測に基づいて新しいデータで繰り返しトレーニングされるモデルを、継続的な再トレーニングのシナリオで使用することができます。
モデルの性能評価： 推論入力と出力の履歴は、モデルの性能を時間とともに評価するために使用できます。推論履歴は、モデルの性能におけるパターンやトレンドを特定するのに役立ちます。
使用状況の分析： 推論履歴は、モデルがどこでどの程度頻繁に呼び出されているかを理解するのに役立ちます。モデルの使用状況パターンに関するこれらの洞察は、リソースの割り当てや最適化に関する決定に役立ちます。

モデル推論履歴の使用方法

モデル推論履歴を作成するには、モデリング目標のデプロイメントページに移動し、モデル推論履歴を追加したいライブデプロイメントを選択します。Model Inference History カードの下で、Create dataset をクリックします。これにより、Create new model inference history ダイアログが開きます。

create dataset button

Create new model inference history ダイアログで、モデル推論履歴のデータセット名と場所を入力します。入力と出力には機密情報が含まれる可能性があるため、セキュリティマーキングを追加することを強くお勧めします。これにより、適切なセキュリティ権限を持つ個人のみがアクセスできるようになります。

create model inference history dialog

モデル推論履歴が作成されると、データセットに以下の情報が記録されます。

timestamp：入力リクエストのタイムスタンプ
user_id：リクエストを送信した Foundry のユーザー ID
request_uuid：リクエストの一意の識別子
live_rid：モデリングライブデプロイメントリソース識別子
objective_rid：モデリング目標リソース識別子
model_rid：モデルアセットリソース識別子
model_version_rid：モデルアセットバージョンリソース識別子
input：モデルに送信された入力の JSON 表現
output：モデル出力の JSON 表現
error：提供された入力で推論を実行中にモデルが遭遇した詳細なエラーメッセージやスタックトレース

model inference history dataset

モデル推論履歴を一時的に有効または無効にするには、Model Inference History カードの右上にあるトグルをクリックし、Enable Recording と表示されています。

enable model inference history recording toggle

モデル推論履歴を永久に無効にするには、Model Inference History カード内のデータセットの右側にある Remove ボタンをクリックします。

モデル推論履歴の削除は永久的であり、元に戻すことはできません。データセットがモデル推論履歴として削除されると、データセットは存在し続けますが、デプロイメントに再度追加することはできません。

enable model inference history recording toggle

よくある質問（FAQ）

ライブデプロイメントのモデル推論履歴を設定するために必要な権限は何ですか？

モデル推論履歴を有効にするには、ユーザーにゲートキーパー権限 foundry-ml-live:edit-inference-ledger が必要です。通常、これはモデリング目標の "owner" ロールで付与されます。

モデル推論履歴データセットをどこに保存できますか？

入力および出力に機密情報が含まれる可能性があるため、親モデリング目標と同じプロジェクトにデータセットを保存する必要があります。

既存のデータセットにモデル推論履歴の入力および出力を書き込むことはできますか？

モデル推論履歴が指定されたスキーマに一致するようにするために、既存のデータセットはモデル推論履歴に選択できません。

モデル推論履歴を削除した場合、どうなりますか？

モデル推論履歴を削除すると、データセットは削除されず、Foundry は新しいレコードの書き込みを停止します。

モデル推論履歴を一時的に有効/無効にするにはどうすればよいですか？

録画トグルを使用して、モデル推論履歴を一時的に有効または無効にすることができます。

推論入力がすべてモデル推論履歴に記録されることを保証していますか？

すべての入力および出力が推論履歴に表示されることは保証されません。プラットフォームのパフォーマンスを維持するために、モデル推論履歴に書き込みを試みて失敗するリクエストは再試行されません。