聚类相关：

聚类算法（一）——DBSCAN 聚类算法（二）—— 优缺点对比 聚类算法（三）—— 评测方法1 聚类算法（三）—— 评测方法2 聚类算法（三）—— 评测方法3(代码） 聚类算法（四）—— 基于词语相似度的聚类算法（含代码） 聚类算法（五）——层次聚类 linkage （含代码） 聚类算法（六）——谱聚类 （含代码）

机缘巧合，写了个聚类算法 聚类算法（四）—— 基于词语相似度的聚类算法

用在一些任务上效果还不错，然鹅组长让我来个评测… 拖了好久拖不掉了，就调研了一番，发现目前对于聚类算法的评测有很多，比较杂乱，进行了相关整理。

聚类算法评测指标-调研

大体分为两种，一种是内部质量评价标准，主要是无分类标签的数据集进行评价，另外一种是外部质量评价标准，主要是基于已知分类标签数据集进行评价的。

内部评测指标

轮廓系数

CH指标

簇的凝聚度

簇的邻近度

Davies-Bouldin Index（DBI）

Dunn Index（DI）

外部评价指标

RI

ARI

AMI

Homogeneity，Completeness and V-measure

FMI（Fowlkes-Mallows index）

Jaccard Coefficient（JC，又称 Jaccard Index）

Dice Index（DI）

熵 “熵”，是信息论中最重要的基础概念。熵表示一个系统的有序程度，而聚类问题的性能评估，就是对比经过聚类算法处理后的数据的有序程度，与人工标记的类别的有序程度之间的差异。

纯度

F-measure

参考

http://www.360doc.com/content/19/0818/20/99071_855719345.shtmlhttps://blog.csdn.net/darkrabbit/article/details/80378597#%E8%81%9A%E7%B1%BB%E6%80%A7%E8%83%BD%E8%AF%84%E4%BC%B0clustering-evaluation-and-assessmenthttps://www.cnblogs.com/czhwust/p/mlclusterpre.htmlhttps://blog.csdn.net/howhigh/article/details/73928635

---

评测

评测了两个领域和一份人工修改的测试数据效果评测指标： 目前尝试了RI、ARI、FMI、JC、DI评测内容为标注数据和预测数据的交集（不考虑未分类数据）p=a/(a+b) r=a/(a+c)

领域1：

predict word number: 4423 label word number: 913 intesection keywords num: 530 count number: a:168 c:3002 b:214 d:136801 count number: e:3170 f:382 RI: 0.9770588864714485 ARI: 0.0879865819838716 FMI: 0.15266798345293525 JC: 0.04964539007092199 DI: 0.0945945945945946 p:0.4397905 r:0.0529968

领域2： 标注文本为在聚类基础上修改得到，合并多个类别操作较多

predict word number: 1378 label word number: 1101 intesection keywords num: 1020 count number: a:2629 c:14815 b:39 d:502207 count number: e:17444 f:2668 RI: 0.9714175758625334 ARI: 0.25201146024869014 FMI: 0.38536709970334326 JC: 0.1503746496596694 DI: 0.2614359586316627 p:0.985382 r:0.15376706

测试文本： 随机拆分了两个类别

predict word number: 53 label word number: 53 intesection keywords num: 53 count number: a:197 c:234 b:0 d:947 count number: e:431 f:197 RI: 0.8301886792452831 ARI: 0.5364204896703423 FMI: 0.6760743791368595 JC: 0.45707656612529 DI: 0.6273885350318471 p: 1 r:0.457076

然鹅发现这些评测结果很有问题，不能真实反应聚类效果

采用sklearn现有的评测函数，测试了ARI， AMI， homogeneity（同质性）、completeness（完整性）、V_measure（同质性 完整性的调和平均） 参考link

领域1效果：

precision：0.4397905759162304 recall：0.05299684542586751 F-value:0.0945945945945946 AI：0.09016933565958538 AMI:0.11718068476365424 homogeneity：0.9278907479038653 completeness:0.6445827656718868 V-measure:0.7607153689541823

领域2效果：

precision：0.9853823088455772 recall：0.1507108461362073 F-value:0.2614359586316627 ARI：0.25479951504029247 AMI:0.4344109852617058 homogeneity：0.9934320435230544 completeness:0.6595710067268064 V-measure:0.792786163294891

测试文本：

precision：1.0 recall：0.45707656612529 F-value:0.6273885350318471 ARI：0.5364204896703423 AMI:0.6328650659598968 homogeneity：0.9999999999999997 completeness:0.6891475031119095 V-measure:0.815970780340137

Kmeans评测

领域1效果：

100类别

ARI：0.18214504063444517 AMI:0.28122221726422314 homogeneity：0.7003464825027328 completeness:0.6357110634314752 V-measure:0.6664653158348756

150类别

ARI：0.16713785084206045 AMI:0.25041822670490227 homogeneity：0.7621434666403422 completeness:0.6425861265572681 V-measure:0.6972769997598411

200类别

ARI：0.16489524542777634 AMI:0.2202800977107914 homogeneity：0.8126973974575826 completeness:0.6466140132305084 V-measure:0.7202047785869827

500类别

ARI：0.01503979908827144 AMI:0.021126987667133466 homogeneity：0.9911582797357518 completeness:0.6340129877627932 V-measure:0.7733427668190755

领域2效果： 100类别

ARI：0.21799501897622525 AMI:0.4320657182935456 homogeneity：0.7309777094163977 completeness:0.6011322647705336 V-measure:0.6597267409944254

150类别

ARI：0.19593710970495748 AMI:0.38106846285841933 homogeneity：0.778365354949881 completeness:0.5883676184964978 V-measure:0.6701601250714393

200类别

ARI：0.15677106944442937 AMI:0.33947097014199384 homogeneity：0.8192739577969507 completeness:0.5807453634437717 V-measure:0.6796899802199217

500类别

ARI：0.08497808163761142 AMI:0.20475022500842785 homogeneity：0.932237871523388 completeness:0.5596251372376134 V-measure:0.6993989980657189

Kmeans 一大缺点就是需要设置类别，调整看效果

评测指标 原理详述

参见 聚类算法（三）—— 评测方法2