模型评估小册（1） ROC 曲线与 AUC

一点前言：之前完成了吴恩达深度学习的相关内容，最近忙于毕设，更新可能没之前那么频繁。这个新开的分类关于模型评估的各种指标的详解，之前翻看书籍总是被一堆很官方化的概念和密密麻麻的符号搞的看不下去，因此，这次的中心思想是以尽可能通俗的语言、精简的篇幅来讲解这类概念并辅以实例。
不多废话，以下为正文。
1. 检测问题中的“两难情景”

假设我们在机场负责安检。任务很简单：把携带危险物品的人拦下来。
但现实远没有这么简单，如果我们把安检标准定得非常严格——一点可疑都不放过，那么确实可以拦下几乎所有危险人员。
但代价是，正常旅客也会被频繁拦下复检，队伍排到大厅外。
而如果我们把标准放宽——只在非常明显的情况下才拦人，旅客通行效率会提高。
但显然，这就有更大可能漏掉真正的风险。
这就是一个经典的两难：选择杀错还是放过？

抓得越多，错抓也越多。
抓得越少，漏抓就越多。

目标检测问题本质上也是如此，在高光谱目标检测、雷达探测、异常检测等目标检测任务中，我们面对的不是“对或错”这么简单，而是在任务情景中，对“错报”和“漏报”的权衡选择：

我的模型，能检测出多少真实目标？但同时会误报多少背景？我的任务要求我更偏向哪边？在哪里二者较为均衡？

总之，在检测系统中，没有免费的午餐：提高检测率，往往要付出虚警率的代价。
ROC 曲线描述的，正是这两者之间的关系。
2. ROC（Receiver Operating Characteristic）

ROC 的英文全称为 Receiver Operating Characteristic ，直译为受试者工作特征曲线，它来源于统计学中的检测理论，而最早的应用领域是雷达探测。
不同于一些常见指标，ROC 刻画的是虚警概率和检测概率间的函数关系。
直接来看一个实例：

现在，假设一天有 100 个携带危险物品的旅客和 1000 个普通旅客：
1.真阳性率（TPR / Pd）：系统能正确抓住真正危险旅客的比例，即“该抓的抓了多少”。
2.假阳性率（FPR / Fa）：系统把普通旅客误判为危险旅客的比例，即“不该抓的抓错了多少”。
普通旅客数量危险旅客数量通过 / 正常数量抓到数量指标及计算过程—1003 漏掉97  抓到真阳性率 Pd = 97 / 100 = 0.97 (97%)1000—800 正常通过200 误抓假阳性率 Fa = 200 / 1000 = 0.2 (20%)实际上二者的计算还是对四类基础统计量的应用。
这样，我们就得到了 ROC 曲线中的一个点：\((0.2,0.97)\) ，我们称之为Pd @ Fa 或 Pd / Fa ，它说明了在特定虚警率下能抓到多少目标，展开如下：

到这里，就会发现： ROC 曲线中的一个点就是一种决策阈值下的模型表现。
我们不断测试不同的阈值计算，最终就会得到 ROC 曲线，列举几种情况如下：
阈值 t判定规则危险旅客抓到情况 (Pd)普通旅客误抓情况 (Fa)说明0.8只有概率 ≥ 0.8 判为危险80 / 100 = 0.8050 / 1000 = 0.05严格判定，只抓最明显的危险旅客，虚警很少0.5概率 ≥ 0.5 判为危险95 / 100 = 0.95200 / 1000 = 0.20中等判定，抓到大部分危险旅客，虚警适中0.3概率 ≥ 0.3 判为危险99 / 100 = 0.99400 / 1000 = 0.40宽松判定，几乎抓到全部危险旅客，但虚警明显增加0.1概率 ≥ 0.1 判为危险100 / 100 = 1.00800 / 1000 = 0.80极度宽松，抓到全部危险旅客，但绝大部分普通旅客也被误抓观察下来，你会发现：误报率越高往往代表阈值越低。
而到了这里，你可能会有一个问题：那在实际运行中，我总不能一个个阈值去试吧？要多少次才能拼出来完整曲线？
实际上，我们在真实运行中只需要运行一次模型就可以得到完整 ROC 曲线。
用一句话概括其算法：存储模型对每个样本的输出概率并排序，从高到低依次确认为正类（抓捕）并计算 Pd @ Fa ，加入图像。
来看个例子：
排名旅客 ID是否危险模型概率 p挨个抓累计 TP累计 FPPd = TP / 3Fa = FP / 71A✅ 危险0.95抓100.3302B❌ 普通0.90抓110.330.143C✅ 危险0.85抓210.670.144D❌ 普通0.70抓220.670.295E❌ 普通0.60抓230.670.436F✅ 危险0.50抓331.000.437G❌ 普通0.45抓341.000.578H❌ 普通0.30抓351.000.719I❌ 普通0.20抓361.000.8610J❌ 普通0.10抓371.001.00在这里，当把旅客F抓捕时，计算得到的 Pd @ Fa 较优，也就是说，其对应的模型概率 p=0.5 就是一个可能较优的决策阈值选择。
到这里 ROC 的内容就基本结束，但是你会发现：曲线里我光看不同阈值的情况了，那这个模型本身到底好不好？有多好？能不能给我一个明确的评估呢？
这就是与 ROC 曲线相关联的内容：AUC 。
3. AUC（Area Under Curve）

AUC 的全称是 Area Under Curve，直译就是ROC 曲线下面积。它用一个单一指标来衡量模型整体能力。
在得到 ROC 曲线后，AUC的计算非常简单：

显然，AUC面积越大，模型越能在低虚警率下实现高检测率，模型的检测效果就越好。
并且，我们不需要提前选定决策阈值，就可以知道模型整体的好坏。
总结一句话：ROC 告诉我们在不同标准下模型表现如何，而 AUC 则给出一个整体评分，实现不用盯着每个阈值也能知道模型好不好，从而帮助相关任务的调优和部署。

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

过来提前占个楼

分享、互助 让互联网精神温暖你我

yyds。多谢分享