すべての提出物にチェックを設定する

概要

モデリング目標チェックは、モデルが運用化される前に、定められた品質チェックに合格していることを確認する方法です。目標チェックは、目標ごとにカスタマイズが可能であり、異なる専門知識を持つモデルレビュアーが協力してモデルの性能を評価することができます。この評価により、モデルのステータスと議論が透明で整理され、モデリング目標のすべての関係者にモデルの品質が明確に伝わります。

例えば、モデリングプロジェクトのマネージャーとして、目標に提出されたすべての候補モデルがリリース前に承認されることを望むかもしれません。必要な承認には以下のようなものがあります。

• モデルがスモークテストに合格していることを確認するパイプラインインフラチーム。
• モデルの指標が運用アプリケーションにデプロイする前に関連要件を満たしていることを確認するデータサイエンスチーム。
• トレーニングデータのバランスが適切であることや、モデルが機関の公平性要件を満たしていることを確認する倫理チーム。

上記の各チェックについて、対象となるレビュアーグループやユーザーとの集中的な議論スレッドを活用することで、モデルのデプロイメントの準備が整っているかどうかについての結論を得やすくなり、次のモデルの反復にフィードバックを集めることができます。

目標に対して上記の各チェックポイントに対して目標チェックを設定することで、目標内のすべてのモデル提出物を評価するための集中した共同作業スペースを作成できます。

目標チェックの設定

目標のチェックを設定するには、右サイドバーの設定ページに移動し、チェックタブに移動します。ここで、名前、説明、およびこのチェックを承認できるユーザーやグループを指定して新しいチェックを作成できます。以下の例では、pcl-team グループまたは Administrators グループの誰かがチェックを承認すると、このチェックが承認されたことになります。

必要に応じて追加のチェックを追加するか、以下の例のチェックに従ってください。

チェックを活用したモデル提出物の評価の共同作業

目標の関連チェックを設定したら、さまざまなレビュアーグループと協力してモデル提出物を評価することができます。

モデル提出物ページに移動し、チェックパネルに移動します。ここでは、目標に設定したチェックが表示されます。レビュアーは、モデル提出物を評価する際に、各チェックを承認、拒否、またはコメントすることができます。さらに、レビュアーは、添付ファイル（指標のスクリーンショットなど）を追加したり、ユーザーグループをタグ付けしたりすることができます。

現在、モデル提出物のリリースを作成する前に、すべてのチェックが承認されることが必須ではありません。

チェックをアーカイブする

設定ページでチェックの横にある「無効」アイコンを使って、目標チェックをアーカイブすることができます。アーカイブされたチェックは、デフォルトでは提出物のチェックページに表示されなくなります。ただし、アーカイブされたチェックの以前のコメントや承認履歴は、提出物のチェックパネルでアーカイブを表示ボタンを選択することで、引き続き閲覧することができます。

チェックステータスでモデルをフィルタリングする

特定のチェックや全体的な提出物のステータスに基づいて、目標内のモデルをフィルタリングすることができます。これは、デプロイメントに合格したすべてのチェックを通過したモデルを確認したい場合や、特定のチェックが保留中のすべての提出物を確認しなければならない場合に役立ちます。

左側のモデルタブに移動し、上部のすべてのモデルタブを選択します。ここでは、すべてのモデル提出物と、その全体的なチェックステータスがテーブルに表示されます。左パネルでは、チェックステータスというラベルの下にフィルタグループが表示されます。ここで、提出物をフィルタリングするチェックとそのステータスを選択できます。