您的位置:首页 > 其它

利用word分词来计算文本相似度

2016-01-20 11:33 363 查看
word分词提供了多种文本相似度计算方式:方式一:余弦相似度,通过计算两个向量的夹角余弦值来评估他们的相似度实现类:org.apdplat.word.analysis.CosineTextSimilarity用法如下:?
运行结果如下:?
方式二:简单共有词,通过计算两篇文档共有的词的总字符数除以最长文档字符数来评估他们的相似度实现类:org.apdplat.word.analysis.SimpleTextSimilarity用法如下:?
运行结果如下:?
方式三:编辑距离,通过计算两个字串之间由一个转成另一个所需的最少编辑操作次数来评估他们的相似度实现类:org.apdplat.word.analysis.EditDistanceTextSimilarity用法如下:?
运行结果如下:?
方式四:SimHash + 汉明距离,先使用SimHash把不同长度的文本映射为等长文本,然后再计算等长文本的汉明距离实现类:org.apdplat.word.analysis.SimHashPlusHammingDistanceTextSimilarity用法如下:?
运行结果如下:?
方式五:Jaccard相似性系数,通过计算两个集合交集的大小除以并集的大小来评估他们的相似度实现类:org.apdplat.word.analysis.JaccardTextSimilarity用法如下:?
运行结果如下:?
方式六:欧几里得距离(Euclidean Distance),通过计算两点间的距离来评估他们的相似度实现类:org.apdplat.word.analysis.EuclideanDistanceTextSimilarity用法如下:?
运行结果如下:?
方式七:曼哈顿距离(Manhattan Distance),通过计算两个点在标准坐标系上的绝对轴距总和来评估他们的相似度实现类:org.apdplat.word.analysis.ManhattanDistanceTextSimilarity用法如下:?
运行结果如下:?
转载:http://my.oschina.net/apdplat/blog/417047

                                            
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: