カスタムモデリング目的指標ビュー

モデリング目的の主要な機能の1つは、特定のデータセットで個々のモデルのパフォーマンスを調べることと、同じデータで異なるモデルの同じパフォーマンス指標を比較することができることです。これは、モデル提出間で MetricSet と入力データセットの関係を活用することで実現しています。

このチュートリアルでは、MetricSets を subsets とともに作成する方法と、自動モデル評価をすでに設定していることを前提としています。

このページの手順に従って指標ビューをカスタマイズすると、評価ダッシュボードで複数のモデルのパフォーマンスを比較するためにそれらを使用できます。ただし、評価ダッシュボードでピン留めタブを表示するアドバンス設定が有効になっていない場合、これらのタブは評価ダッシュボードに表示されません。

はじめに

モデル提出名をクリックして、個々のページに移動します。このビューは、評価構成またはコード内の個々のモデル提出に添付された指標、チャート、または画像に応じて、高度にカスタマイズ可能です。

利用可能な設定オプションは、指標のピン留め、タブの作成、およびチャートの構築です。これらのオプションの目的は、すべてのモデル提出間で情報を共有および分類し、比較するための重要なパフォーマンス指標を強調表示することです。

指標ビューを編集するには、ページの右上にある Actions タブを選択します。目的へのアクセスレベルに応じて、いくつかのオプションが表示されます。Pin metrics to objective を選択します。すべての指標とチャートにピンアイコンが表示され、インターフェースの上部に青いバーが表示されて、編集モードになっていることが示されます。

上部右側で選択された evaluation dataset とトランザクションによって、Explore all metrics and charts セクションに表示される指標が決まります。

タブの作成と指標のピン留め

タブは、指標とチャートを意味のあるビューに整理するのに役立ちます。これには、異なる評価の側面や関係者に関連する可能性があります。たとえば、以下に示す概念例のように、金融モデリンググループは、センシティブな機能によって分割された指標を表示することができます。

Key objective metrics and charts セクションで、+ Create new tab オプションを選択します。タブに名前を付けるオプションを提供するダイアログが表示されます。

タブを作成したら、下の指標エクスプローラとチャートをスクロールして、ピンアイコンをクリックして統計情報、チャート、または画像をピン留めします。subsets も自動的に指標エクスプローラで利用できます。

指標エクスプローラで利用可能な指標に基づいてインタラクティブな棒グラフを作成し、タブにピン留めすることもできます。

ピン留めされた指標と作成されたタブは、静的であることを意味していません。新しいデータが入ってきたり、新しいフィードバックが得られたり、新しい理論がテストされたりするにつれて、設定が進化するべきです。

タブカテゴリの一般的なパターンは、「Key Metrics/Theories」、「Sensitive Features」、「Outlier Information」です。

入力データセットの設定に満足したら、ページの上部にある Done ボタンを選択します。