モデル推論の履歴

モデル推論の履歴とは、Foundry 内のデータセットで、モデリングの目的のライブデプロイメントに送信されるすべての推論リクエスト（入力）と推論結果（出力）を記録するものです。これにより、以下のような多くのワークフローが可能になります。

• ドリフト検出： モデル推論の履歴を使用して、モデルのパフォーマンスが時間とともに変化し、それが基礎となるデータ分布のドリフトを示している可能性があることを検出できます。推論の履歴を調査することで、モデルの精度がどのように進化しているかについての貴重な洞察を提供できます。
• 継続的な再トレーニング： モデル推論の履歴は、モデルが前回の予測に基づいて新しいデータで反復的にトレーニングされる継続的な再トレーニングのシナリオで使用できます。
• モデルのパフォーマンス評価： 推論の入力と出力の履歴を使用して、モデルのパフォーマンスを時間とともに評価できます。推論の履歴は、モデルのパフォーマンスのパターンとトレンドを特定するのに役立ちます。
• 使用分析： 推論の履歴を使用して、モデルがどこで、どのくらい頻繁に呼び出されているかを理解することができます。モデルの使用パターンに対するこれらの洞察は、リソースの割り当てと最適化に関する決定を支援します。

モデル推論の履歴の使用

モデル推論の履歴を作成するには、ユーザーのモデリングの目的のDeployments ページに移動し、モデル推論の履歴を追加したいライブデプロイメントを選択します。Model Inference History カードの下で、Create dataset をクリックします。これにより、Create new model inference history ダイアログが開きます。

Create new model inference history ダイアログで、モデル推論の履歴のデータセット名と場所を入力します。入力と出力には機密情報が含まれている可能性があり、適切なセキュリティ権限を持つ個人だけがアクセスできるようにするため、Security Markings の追加を強く推奨します。

モデル推論の履歴が作成されると、以下の情報がデータセットに記録されます：

• timestamp：入力リクエストのタイムスタンプ
• user_id：リクエストを送信した Foundry ユーザーの ID
• request_uuid：リクエストの一意の識別子
• live_rid：モデリングライブデプロイメントのリソース識別子
• objective_rid：モデリングの目的のリソース識別子
• model_rid：モデルアセットのリソース識別子
• model_version_rid：モデルアセットのバージョンリソース識別子
• input：モデルに送信された入力の JSON 表現
• output：モデル出力の JSON 表現
• error：モデルが提供された入力で推論を実行する際に遭遇した詳細なエラーメッセージまたはスタックトレース

モデル推論の履歴を一時的に有効または無効にするには、Model Inference History カードの右上隅にあるトグルで Enable Recording をクリックします。

モデル推論の履歴を永久に無効にするには、Model Inference History カードのデータセットの右側で Remove を選択します。

よくある質問 (FAQ)

ライブデプロイメントにモデル推論の履歴を設定するためには、どのような権限が必要ですか？

モデル推論の履歴を有効にするためには、ユーザーがゲートキーパー権限 foundry-ml-live:edit-inference-ledger を必要とします。通常、これはモデリングの目的の "owner" ロールとともに付与されます。

モデル推論の履歴データセットをどこに保存できますか？

入力と出力には機密情報が含まれている可能性があるため、データセットはその親であるモデリングの目的と同じプロジェクトに保存する必要があります。

モデル推論の履歴の入力と出力を既存のデータセットに書き込むことはできますか？

モデル推論の履歴が指定されたスキーマと一致するようにするため、モデル推論の履歴のために既存のデータセットを選択することはできません。

モデル推論の履歴を削除した場合、どうなりますか？

モデル推論の履歴を削除すると、データセットは削除されませんが、Foundry は新しいレコードの書き込みを停止します。

モデル推論の履歴を一時的に有効/無効にするにはどうすればよいですか？

ユーザーは録音トグルを使用して、モデル推論の履歴を一時的に有効または無効にできます。

すべての推論入力がモデル推論の履歴にログされることは保証されていますか？

すべての入力と出力が推論の履歴に表示されるわけではありません。プラットフォームのパフォーマンスを維持するため、モデル推論の履歴への書き込みを試みて失敗したリクエストは再試行されません。