机器学习评价指标

机器学习算法中的部分评价指标

Posted by Zhao Zihao on December 22, 2020

介绍机器学习的部分评价指标:混淆矩阵的定义,ACC,ROC曲线和AUC等

混淆矩阵(Confusion Matrix)

ACC

ACC=预测正确的样本/总样本数=True/All


ROC曲线

横轴:False Positive Rate(假阳率,FPR) / 希望小

纵轴:True Positive Rate(真阳率,TPR) / 希望大

显然,ROC曲线的横纵坐标都在[0,1]之间

几种特殊情况:

  • (0,0):假阳率和真阳率都为0,即分类器全部预测成负样本

  • (0,1):假阳率为0,真阳率为1,全部完美预测正确,happy

  • (1,0):假阳率为1,真阳率为0,全部完美预测错误,悲剧

  • (1,1):假阳率和真阳率都为1,即分类器全部预测成正样本

  • TPR=FPR,斜对角线,预测为正样本的结果一半是对的,一半是错的,代表随机分类器的预测效果

如何画ROC曲线?取不同的阈值

https://blog.csdn.net/xiaohuihui1994/article/details/87987836

结论:

ROC曲线在斜对角线以下,则表示该分类器效果差于随机分类器,反之,效果好于随机分类器,当然,我们希望ROC曲线尽量除于斜对角线以上,也就是向左上角(0,1)凸。


AUC(Area under the ROC curve)

AUC实际上就是ROC曲线下的面积。AUC直观地反映了ROC曲线表达的分类能力。

  • AUC = 1,代表完美分类器

  • 0.5 < AUC < 1,优于随机分类器

  • 0 < AUC < 0.5,差于随机分类器