聚类相关

归一化:能够将大量反复特征聚合为单一特征,降低反复带来的类似度差异。方法: Vx = Vx /abs(v1)+...abs(Vn)

词干处理:(变形词,允许词,近义词聚合) 降低特征的反复性 imaging-images buy-bought 我-俺 早餐-早饭.......

停用词:(弱特征)大量出现的没有实际特征意义的虚词,副词,语气词等  I ,am, is ,a,an,always 我,啊,了,个,的.........

停用词兴奋剂:(词频-反转文档频率(TF-IDF)) 大量的停用词出如今某部分文档中而极少出如今其他地方,反而成为某部分文档的强特征。


扁平聚类:将对象分为一系列相互之间没有关联的簇。每一个簇中的的对象之间很类似。

层次聚类:类似的对象聚集到一个簇中,类似的簇进一步聚集到一个超级簇中,逐步递归到形成一个簇。


k均值:不断调整质心和簇的分配,反复迭代到某一阈值时,聚类收敛成功。

其他类似度衡量方法:Cosin,Pearson,Jaccard系数等。


原文地址:https://www.cnblogs.com/blfshiye/p/4550851.html