基于LDA模型的文本聚类研究
【出 处】:
【作 者】:
王鹏
高铖
陈晓美
长春理工大学计算机科学技术学院
吉林长春130002
吉林大学管理学院
吉林长春130022
【摘 要】在Web2.0时代,网络文本数据呈现爆炸式增长,传统的文本聚类模型存在数据维数过高,数据稀疏,缺乏语义理解等问题。针对以上问题,本文提出了一种基于LDA模型,通过Gibbs算法估计文本的主题概率分布,利用JS(Jensen-Shannon)距离作为文本的相似性度量,然后采用层次聚类法进行聚类。实验得到较高的聚类纯度(Purity)和Fscore值,表明该方法是有效的。