接收機工作特性曲線下面積(AUROC)

AUROC 是最常用的指標來評價分類的演出之一。本節介紹如何計算它。

AUC (曲線面積)大部分時間用於表示 AUROC,這是一種不好的做法,因為 AUC 是模糊的(可以是任何曲線)而 AUROC 不是。

概述 - 縮略語

縮寫 含義
AUROC 接收機工作特性曲線下的面積
AUC Curce 下的區域
接收器工作特性
TP 真正的積極因素
TN 真正的否定
FP 誤報
FN 假陰性
TPR 真陽性率
FPR 誤報率

解釋 AUROC

AUROC 有幾個相同的解釋

  • 期望均勻繪製的隨機正數在均勻繪製的隨機負數之前排序。
  • 在統一繪製的隨機否定之前排列的預期陽性比例。
  • 如果排名在統一繪製的隨機否定之前被分割,則預期的真陽性率。
  • 在統一抽取隨機陽性後排序的預期負面比例。
  • 如果排名在統一繪製的隨機正數之後被分割,則預期的假陽性率。

計算 AUROC

假設我們有一個概率的二元分類器,如邏輯迴歸。

在呈現 ROC 曲線(=接收器工作特性曲線)之前,必須理解混淆矩陣的概念。當我們進行二元預測時,可以有 4 種型別的結果:

  • 我們預測 0,而類實際上是 0 :這被稱為真負,即我們正確地預測該類是負的(0)。例如,防病毒軟體未將無害檔案檢測為病毒。
  • 我們預測 0,而類實際上是 1 :這被稱為假陰性,即我們錯誤地預測該類是負的(0)。例如,防病毒軟體無法檢測到病毒。
  • 我們預測 1,而類實際上是 0 :這被稱為假陽性,即我們錯誤地預測該類是正的(1)。例如,防病毒軟體認為無害檔案是病毒。
  • 我們預測 1,而類實際上是 1 :這被稱為真陽性,即我們正確地預測該類是正的(1)。例如,防病毒軟體正確地檢測到了病毒。

為了得到混淆矩陣,我們回顧模型所做的所有預測,並計算這 4 種結果中每種結果出現的次數:

在此處輸入影象描述

在這個混淆矩陣的例子中,在被分類的 50 個資料點中,45 個被正確分類,5 個被錯誤分類。

由於比較兩個不同的模型,通常使用單個度量而不是幾個度量更方便,我們從混淆矩陣計算兩個度量,我們稍後將它們合併為一個:

  • 真陽性率TPR ),又名。敏感度,命中率召回 ,定義為 式 。直觀地,該度量對應於相對於所有正資料點被正確認為為正的正資料點的比例。換句話說,更高的 TPR,我們將錯過的正資料點越少。
  • 假陽性率FPR ),又名。失敗 ,定義為 另一個 。直觀地,該度量對應於相對於所有負資料點被錯誤地認為是正數的負資料點的比例。換句話說,更高的 FPR,我們將錯過分類的負資料點越多。

要將 FPR 和 TPR 組合成一個單一的度量標準,我們首先計算兩個以前的度量標準,並使用許多不同的閾值(例如 )進行邏輯迴歸,然後將它們繪製在單個圖形上,橫座標和 TPR 上的 FPR 值縱座標上的數值。得到的曲線稱為 ROC 曲線,我們考慮的度量是該曲線的 AUC,我們稱之為 AUROC。

下圖以圖形方式顯示 AUROC:

在此處輸入影象描述

在該圖中,藍色區域對應於接收器操作特性(AUROC)的曲線下面積。對角線中的虛線表示隨機預測器的 ROC 曲線:它的 AUROC 為 0.5。隨機預測器通常用作基線,以檢視模型是否有用。