德国或将在2022年全面关闭3G网络
|
在70个实际的阳性数据点中,您的模型预测64个点为正,6个点为负。在30个实际负点中,它预测3个正点和27个负点。 注意: 在“ 真肯定”,“真否定”,“假肯定”和“假否定”表示法中 ,请注意,第二项(“正”或“负”)表示您的预测,而第一项则表示您预测的是对还是错。 基于上面的矩阵,我们可以定义一些非常重要的比率: TPR(真正率)=(真正/实际正) TNR(真负利率)=(真负/实际负) FPR(误报率)=(误报/实际负) FNR(假负率)=(假负/实际正数) 对于我们的糖尿病检测模型,我们可以计算以下比率: TPR = 91.4% TNR = 90% FPR = 10% FNR = 8.6% 如果您希望模型很聪明,那么模型必须正确预测。这意味着您的 “正肯定” 和 “负否定” 应尽可能高 ,同时,您需要将错误 肯定 和 错误否定 应尽可能少的 错误降至最低 。 同样在比率方面,您的 TPR和TNR 应该很高, 而 FPR和FNR 应该非常低 , 智能模型: TPR↑,TNR↑,FPR↓,FNR↓ 愚蠢的模型: TPR,TNR,FPR,FNR的任何其他组合 可能有人争辩说,不可能平等地照顾所有四个比率,因为最终没有一种模型是完美的。那我们该怎么办? 是的,它是真的。因此,这就是为什么我们要建立模型并牢记领域的原因。在某些领域要求我们将特定比率作为主要优先事项,即使以其他比率较差为代价。例如,在癌症诊断中,我们不能不惜一切代价错过任何阳性患者。因此,我们应该将TPR保持在最大值,将FNR保持在接近0的水平。即使我们预测有任何健康的患者被诊断出,也仍然可以,因为他可以进行进一步检查。 准确性准确度是其字面意思,表示模型的准确度。 准确性=正确的预测/总预测 通过使用混淆矩阵,精度=(TP + TN)/(TP + TN + FP + FN) 准确性是我们可以使用的最简单的性能指标之一。但是让我警告您,准确性有时会导致您对模型产生错误的幻想,因此您应该首先了解所使用的数据集和算法,然后才决定是否使用准确性。 在讨论准确性的失败案例之前,让我为您介绍两种类型的数据集:
非常重要:处理不平衡的测试集时,切勿使用准确性作为度量。 为什么? 假设您有一个不平衡的测试集,其中包含 990(+ ve) 和 10(-ve) 的1000个条目 。最终,您以某种方式最终创建了一个糟糕的模型,该模型总是会因列车不平衡而始终预测“ + ve”。现在,当您预测测试集标签时,它将始终预测为“ + ve”。因此,从1000个测试设定点中,您可以获得1000个“ + ve”预测。然后你的准确性就会来 990/1000 = 99% 哇!惊人!您很高兴看到如此出色的准确性得分。 但是,您应该知道您的模型确实很差,因为它总是预测“ + ve”标签。 非常重要:同样,我们无法比较两个返回概率得分并具有相同准确性的模型。
有某些模型可以像Logistic回归那样给出每个数据点属于特定类的概率。让我们来考虑这种情况: (编辑:盐城站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |

