15.评价指标

1. 分类问题评价指标

1-1. 准确率和召回率

精确率(Precision)指的是模型判为正的所有样本中有多少是真正的正样本;召回率(召回率)是指正样本的数量。,即召回。感觉准确率偏。,召回率是全球性的。。

准确率和召回率

1-2. ROC

真实分类率(真) positive rate ,TPR),识别的是分类器识别的内容。 正例对所有正例的比例(正样本) / 正样本实数。负阳性率(假) positive rate, FPR),计算的是分类器错认为正类的负实例占所有负实例的比例(被预测为正的负样本结果数 实际负样本数。

( TPR=0,FPR=0 ) 一个预测每个实例为负类的模型。
( TPR=1,FPR=1 ) 一个模型,预测每个实例作为一个积极的类。
( TPR=1,FPR=0 ) 理想模型

ROC曲线

ROC曲线下面积(面积) Under the ROC Curve, AUC)提供了另一种方法来评估模型的平均性能。。如果模型是完美的,然后它的AUC = 1,如果模型是一个简单的随机猜测模型,然后它的AUC = ,如果一个模型比另一个模型好,,曲线下方的面积相对较大。

首先,AUC值是一个概率值。,当你随机抽取一个正样本和一个负样本时,,目前的分类算法是基于计算的得分值。正样本在负样本前面的概率。当然,AUC值越大,当前的分类算法更容易放置正样本。,也就是说,更好的分类。。

1-3. 对数损耗

对数损耗(Log 损失)也称为Logistic回归损失(Logistic)。 regression 损失)

对数损耗通用式

二分类对数损耗

1-4. 铰链损失

铰链损失(铰链) 损失)一般用来使“边缘最大化”(maximal 保证金)。
铰链损失最初出现在两个分类问题中。,假设阳性样本标记为1。,阴性样本标记为1。,Y是真正的价值。,W是预测值。,铰链损耗定义为:

铰链损失

1-5. 混淆矩阵

它也被称为误差矩阵。,它可以直观地观察算法的效果。。每个列是样本的预测分类。,每一行都是样本的真实分类(反过来),顾名思义,它反映了分类结果的混乱。。混淆矩阵i行j列的原始数是样本num。,经过计算,可以可视化。:

混淆矩阵

1-6. kappa系数

Kappa系数用于测量两个注释的一致性。,注释指将n个样本标记为C互斥类别。。公式是

kappa系数

当两个标记结果完全一致时,K=1,价值越小,价值越小。,甚至是负面的。

1-7. 海明距离

  • 信息领域,等长的两条弦的汉明距离是微分数。,也就是说,用另一个字符串替换字符串所需的替换数。。

  • 机器学习方面,当预测结果与实际情况相符时,,距离为0;当预测结果与实际情况完全不符时,距离为1;当预测结果为实子集或实际的真超集时,距离在0到1之间。。我们可以通过对所有样本的预测情况求平均得到算法在测试集上的总体表现情况

1-8. Jaccard系数

可将 JACARD相似性系数用于测量样本的相似性。。

Jaccard相似系数

这里,p q r可以理解为a的结合元素的个数。,P是与A和B相交的元素的个数。。

2. 拟合问题评价指标

2-1. 平均绝对误差

平均绝对误差是MAE(均值)。 Absolute 误差也称为L1范数损失(L1范数) 损失):

平均绝对误差MAE

2-2. 平均平方误差

均方误差MSE(均值) Squared 误差也称为L2范数损失(L2范数) 损失):

平均平方误差MSE

2-3. 解释变异

解释变异( Explained 方差是基于误差的方差来计算的。:

解释变异( Explained 方差)

当有必要比较两组离散度,如果两组数据的测量尺度过大。,或者数据维度上的差异。,直接使用标准偏差是不合适的。,此时,测量尺度和尺寸的影响应为ELI。,变异系数可以做到这一点。,他是原始数据的标准偏差与平均值之比。。

事实上,变异系数和范围可以考虑。、标准差和方差是相同的。,它们是反映数据分散程度的绝对值。。一般来说,变量的平均值很高。,离散度越大,度量越大。,反之亦然。

2-4. 决定系数

测定系数(系数) of 测定也被称为R2评分。:

测定系数(系数) of 测定)

当R2接近1,参考值越高。;相反,接近0。,参考值越低。。这是回归分析中的情况。。但本质上,测定系数之间没有关系。,正如标准偏差和标准误差基本上不相关。。

3. 聚类的评价指标

3-1. 兰德指数

兰德指数(兰德) 索引)需要给定的类信息C,假设K是聚类的结果。,A表示C和K都是同一类别的元素。,B表示不同类的所有元素都在C和K.中。,兰德指数是:

兰德指数(兰德) 索引)

RI的范围为[0。,1],数值越大,聚类结果与TH的一致性越高。。

  • 为了实现聚类结果的随机结果,指标应该接近于零。,调整兰德系数(调整) rand 索引)被提出,它具有较高的分裂程度。:

调整后的 rand 索引)

ARI的值范围为[1,1],数值越大,聚类结果与TH的一致性越高。。从广阔的视角,ARI度量两个数据分布的一致性。。

3-2. 互信息

  • 互信息(相互) 信息被用来测量两个数据分布的一致性。。这也是一个有用的信息度量。,它指的是两组事件之间的相关性。。
  • 利用互信息法,在C类中发生概率很高。,在其他类别中,出现低概率的T字。,将获得更高的条目和类互信息。,这是可能的选择为C类的特征
  • 互信息是术语可以给C带来的信息量。。
  • 条目和类别之间的相互信息反映了相关性。,互信息越大。,词条和类别的相关程度也越大。在获得条目和类别的关联度之后,选择一定百分比的,排名最高的条目是这一类别最具代表性的特征。。

互信息(相互) 信息)

3-3. 轮廓系数

轮廓系数(轮廓) 系数)适用于实际类别信息的情况。。对于单一样本,设A为其类别中其他样本的平均距离。,B是来自不同类别的样本之间的平均距离。,轮廓系数是:

轮廓系数(轮廓) 系数)

对于样本集,它的轮廓系数是所有样本轮廓系数的平均值。。

轮廓系数的取值为[1。,1],

相似样本之间的距离越近,差异越大。,得分越高

发表评论

电子邮件地址不会被公开。 必填项已用*标注