二項分類評価器

モデリング目的のデフォルトの評価ライブラリの1つに、二項分類評価器があります。このライブラリは、二項分類モデルの評価に一般的に使用される主要な指標のセットを提供します。

含まれる指標

デフォルトの二項分類評価器は、以下の数値指標を生成します。

• 行数： 評価データセットのレコード数です。
• 事前確率： 評価データセットにおける正の結果の割合です。事前確率はモデルの性能を直接測定するものではありませんが、他の指標を文脈化するのに役立ちます。
• 正確度： 正しく分類されたレコードの割合です。モデルの正確度は0から1の範囲で、正確度が1の場合、評価データセット内のすべてのレコードが正しく分類されています。
• 適合率： 真の陽性数を真の陽性数と偽の陽性数の合計で割ったものです。これは0から1の範囲で、1は完璧なモデルの適合率です。
• 再現率： 真の陽性数の合計を、真の陽性数と偽の陰性数の合計で割ります。これは0から1の範囲で、1は完璧なモデルの再現率です。感度とも呼ばれます。
• F1スコア： 適合率と再現率の調和平均で、適合率と再現率の積を適合率と再現率の和で割ったものです。モデルのF1スコアは0から1の範囲で、1は評価データセット内のすべてのレコードが正しく分類されているモデルを表します。
• マシューズ相関係数（MCC）： モデルの性能を測定する数値的な指標で、2つの分類クラスのラベルと予測値の間の数値的相関を組み合わせます。その結果、分類器が両方のクラスでうまく機能している場合にのみ、MCCが高くなります。MCCは-1から1の範囲で、スコアが1の場合、すべてのレコードが正しく分類されています。
• ROC AUCスコア_(確率が必要)_： ROC（受信者動作特性）カーブの下の領域。AUCは「Area Under Curve」の略です。0から1の範囲で、スコアが1の場合は完璧なモデルを表し、スコアが0.5の場合はランダムに推測しているモデルの期待スコアです。

デフォルトの二項分類評価器は、以下のプロットを生成します。

• 混同行列： 評価データセット内の予測に対する真の陽性、真の陰性、偽の陽性、偽の陰性の数を表示します。
• スコア分布： 評価データセット上のモデル予測の棒グラフです。
• 確率分布_(確率が必要)_： 評価データセット上のモデル出力確率の棒グラフです。バケット幅は 0.05 で、[0.0, 1.0] の範囲で合計20のバケットがあります。
• ROCカーブ_(確率が必要)_： 異なる確率に対する真陽性率と偽陽性率をプロットします。カーブが急なほど、一般的にモデルの性能が良いことを示します。
• 真陽性率（TPR）カーブ_(確率が必要)_： TPRカーブは、モデルの予測確率に対する真陽性率をプロットします。
• 偽陽性率（FPR）カーブ_(確率が必要)_： FPRカーブは、モデルの予測確率に対する偽陽性率をプロットします。
• リフトカーブ_(確率が必要)_： 各確率におけるモデルのリフトを示します。リフトは、モデルがランダムなチャンスと比較して正のクラスでどれだけ性能があるかを示す指標です。

設定

完全な設定手順については、モデル評価ライブラリの設定方法に関するドキュメントを参照してください。

必須フィールド

二項分類評価器には、以下のフィールドが必要です。これらの列の期待値タイプは整数です。

• inference_field： モデルの予測分類を表す行です。この評価器は、1が正のクラスで0が負のクラスであると仮定しています。
• actual_field： モデルの予測と比較するべき値を含む行です。この評価器は、1が正のクラスで0が負のクラスであると仮定しています。

任意のフィールド

• probability_field： これは、正の予測クラスの確率を表す任意のフィールドです。probability_fieldが提供されると、デフォルトの二項分類評価ライブラリは以下の指標を生成します。

  • ROC AUCスコア
  • ROCカーブ
  • TPRカーブ
  • FPRカーブ
  • リフトカーブ

• max_samples_for_roc： モデルのROCカーブを生成するための最大サンプル数です。提供されていない場合、デフォルト値は 200 になります。