二値分類評価ツール

モデリング目標のデフォルトの評価ライブラリの1つに、二値分類評価ツールがあります。このライブラリは、二値分類モデルの評価によく使用される主要なメトリクスを提供します。

含まれるメトリクス

デフォルトの二値分類評価ツールは、次の数値メトリクスを生成します。

• 行数： 評価データセット内のレコード数です。
• 事前確率： 評価データセット内の陽性結果の割合です。事前確率はモデルの性能を直接測る指標ではありませんが、ほかのメトリクスを解釈するための参考になります。
• 正確さ： 正しく分類されたレコードの割合です。モデルの正確さは0から1の範囲で、正確さが1の場合、評価データセット内のすべてのレコードを正しく分類しているモデルを表します。
• 精度： 真陽性の件数を、真陽性と偽陽性の件数の合計で割った値です。0から1の範囲で、1はモデルの精度が完全であることを表します。
• 再現率： 真陽性の総件数を、真陽性と偽陰性の件数の合計で割った値です。0から1の範囲で、1はモデルの再現率が完全であることを表します。感度とも呼ばれます。
• F1 スコア： 精度と再現率の調和平均で、精度と再現率の積を、精度と再現率の和で割って計算します。モデルの F1 スコアは0から1の範囲で、1は評価データセット内のすべてのレコードを正しく分類しているモデルを表します。
• マシューズ相関係数 (MCC)： 2つの分類クラスそれぞれについて、ラベル値と予測値の数値的な相関を均等に組み合わせた、モデルの性能を示す数値指標です。そのため、MCC が高くなるのは、分類器が両方のクラスで良好な性能を発揮している場合に限られます。MCC は-1から1の範囲で、スコアが1の場合、すべてのレコードを正しく分類していることを表します。
• ROC AUC スコア （確率が必要）： ROC（受信者動作特性）曲線の下の面積です。AUC は「Area Under Curve」の略です。0から1の範囲で、スコアが1の場合は完全なモデルを表し、0.5はランダムに推測するモデルで期待されるスコアです。

デフォルトの二値分類評価ツールは、次のプロットを生成します。

• 混同行列： 評価データセット内の予測について、真陽性、真陰性、偽陽性、偽陰性の件数を表示します。
• スコア分布： 評価データセットに対するモデル予測の棒グラフです。
• 確率分布 （確率が必要）： 評価データセットに対するモデルの出力確率の棒グラフです。バケット幅は 0.05 で、[0.0, 1.0] の範囲に合計20個のバケットが作成されます。
• ROC 曲線 （確率が必要）： さまざまな確率について、偽陽性率に対する真陽性率をプロットします。一般に、曲線の傾きが急であるほど、モデルの性能が高いことを示します。
• 真陽性率 (TPR) 曲線 （確率が必要）： TPR 曲線は、モデルの予測確率に対する真陽性率をプロットします。
• 偽陽性率 (FPR) 曲線 （確率が必要）： FPR 曲線は、モデルの予測確率に対する偽陽性率をプロットします。
• リフト曲線 （確率が必要）： 各確率でのモデルのリフトを示します。リフトは、ランダムな場合と比較した、陽性クラスに対するモデルの性能を測る指標です。

設定

設定手順の詳細については、モデル評価ライブラリを設定する方法のドキュメントを参照してください。

必須フィールド

二値分類評価ツールには、次のフィールドが必要です。これらの列で期待される値の種類は Integer です。

• inference_field: モデルの予測分類を表す列です。この評価ツールは、1 を陽性クラス、0 を陰性クラスとみなします。
• actual_field: モデルの予測と比較する値を含む列です。この評価ツールは、1 を陽性クラス、0 を陰性クラスとみなします。

任意のフィールド

• probability_field: 陽性クラスと予測される確率を表す任意のフィールドです。probability_field を指定すると、デフォルトの二値分類評価ライブラリは次のメトリクスを生成します。

  • ROC AUC スコア
  • ROC 曲線
  • TPR 曲線
  • FPR 曲線
  • リフト曲線

• max_samples_for_roc モデルの ROC 曲線の生成に使用するサンプルの最大数です。値を指定しない場合は、200 になります。