すべての提出物に対するチェックの設定

概要

モデリングの目的チェックは、モデルが運用される前に定義された品質チェックを通過することを確認するための方法です。目的ごとにカスタム可能なチェックを設定でき、異なる専門知識を持つモデルレビュアーが共同でモデルのパフォーマンスを評価できます。この評価により、モデルのステータスと議論が透明で整理され、モデリングの目的のすべての関係者にモデルの品質の明確な画像を提供します。

たとえば、モデリングプロジェクトのマネージャーとして、ユーザーの目的に提出されたすべての候補モデルがリリース前に承認されることを望むかもしれません。必要とする承認の一部は以下のようなものです：

• パイプラインインフラストラクチャチームが、モデルがスモークテストを通過したことを確認します。
• モデルのメトリクスが運用アプリケーションにデプロイする前に関連する要件を満たしていることを確認する責任を持つデータサイエンスチーム。
• トレーニングデータの適切なバランスが取れているか、モデルが機関の公平性要件を満たしていることを確認する倫理チーム。

上記の各チェックについて、レビュアーグループやユーザーとの焦点を絞った議論のスレッドが、モデルのデプロイ準備状況の結論を出すのに役立ち、次のモデルのイテレーションに対するフィードバックを集めることができます。

上記の各チェックポイントに対して目的チェックを構成し、目的内のすべてのモデル提出物を評価するための焦点を絞った共同作業スペースを作成するための独立した議論スレッドを作成できます。

目的チェックの構成

目的のチェックを構成するには、右側のサイドバーの Settings ページに移動し、Checks タブに移動します。ここで、名前、説明、およびこのチェックを承認する資格のあるユーザーまたはグループを指定して新しいチェックを作成できます。以下の例では、pcl-team グループまたは Administrators グループのいずれかがチェックを承認すると、このチェックは承認済みとしてマークされます。

必要に応じて追加のチェックを追加するか、以下の例のチェックに従うことができます。

チェックを使用してモデル提出評価を共同作業する

目的に関連するチェックを構成したので、さまざまなレビュアーグループと共同作業してモデル提出を評価し始めることができます。

モデル提出ページで、Checks パネルに移動します。ここでは、目的に対して構成したチェックを確認できます。レビュアーはモデル提出を評価する際に各チェックを承認、拒否、またはコメントすることができます。さらに、レビュアーはメトリクスのスクリーンショットなどの添付ファイルを追加したり、ユーザーグループをタグ付けしたりすることができます。

現在、モデル提出のリリースを作成する前にすべてのチェックが承認されることは必須ではありません。

評価に基づく自動チェック

チェックは、特定の入力データセットと評価ライブラリに対して実行された評価の結果に基づいてそのステータスが決まるように作成することもできます。

利用可能な入力データセットと評価ライブラリの選択肢は、モデリングの目的の評価ダッシュボードに定義された評価構成から継承されます。さらに、評価ダッシュボードを使用して構築されたメトリクスを使用してチェックのステータスを決定します。

メトリクス要件は、このチェックを通過するための提出物の条件を定義します。メトリクスが要件を満たすと PASS ステータスが達成されます。メトリクスが要件を満たさない場合、または選択した評価ライブラリで生成されたメトリクスのセットに見つからない場合は、拒否の理由を説明するメッセージと共に REJECT ステータスが付与されます。提出物、入力データセット、およびチェックに関連する評価ライブラリの組み合わせに対してまだメトリクスが構築されていない場合、チェックのステータスは PENDING になります。メトリクスの構築が失敗した場合も保留ステータスが発生します。

チェックをアーカイブする

Settings ページのチェックの横にある「無効化」アイコンを使用して目的チェックをアーカイブできます。アーカイブされたチェックはデフォルトで提出物のチェックページには表示されません。ただし、アーカイブされたチェックの以前のコメントおよび承認履歴は、提出物のチェックパネルで View archive ボタンを選択することで引き続き表示できます。

チェックステータスでモデルをフィルター処理する

特定のチェックまたは全体の提出物のステータスに基づいて目的内のモデルをフィルター処理することができます。これにより、デプロイのためにすべてのチェックを通過したモデルを確認したり、特定のチェックが保留中のすべての提出物を確認したりする場合に役立ちます。

左側の Models タブに移動し、次に上部の All models タブを選択します。ここでは、テーブル内の全モデル提出物とその全体のチェックステータスを確認できます。左側のパネルに、Check status ラベルの下にフィルターグループが表示されます。ここで、フィルター処理したいチェックとそのステータスを選択できます。