如何比较两个文本的相似度
2014-03-04 15:05
316 查看
本文转自:点击打开链接
比较一篇文章和其它文章的相似度,可以拆解为以下几个步骤。
1、定义:如何认定两篇文章具有相似性?
a)有若干相同的单词或者关键词主题词。
b)有若干相同的句子。
c)有若干相同的段落。
2、设计算法和系数:需要根据测试数据和经验来设定计算公式,首先我们可以假设。
a)假设主题词的相似度占整篇文章相似度的比重为20%,即0.2 *a
b)假设句子相似度占整篇文章相似度的比重为50%,即0.5*b
c)假设段落的相似度占整篇文章相似度的比重为30%,即0.3*c
3、整篇文章的相似度为0.2*a + 0.5*b +0.3*c,剩下的就是该如何计算a、b、c的问题了。
a)主题词的相似度,可以根据主题词在两篇文章中的命中次数比例来计算
b)句子相似度,可以通过标点符号进行断句,计算出两篇文章中相同句子的数量和所有句子的数量比例来计算
c)段落的相似度,可以通过动态规划算法,具体参见《算法导论》动态规划部分计算出两篇文章相同字符串的最大长度来计算。
比较一篇文章和其它文章的相似度,可以拆解为以下几个步骤。
1、定义:如何认定两篇文章具有相似性?
a)有若干相同的单词或者关键词主题词。
b)有若干相同的句子。
c)有若干相同的段落。
2、设计算法和系数:需要根据测试数据和经验来设定计算公式,首先我们可以假设。
a)假设主题词的相似度占整篇文章相似度的比重为20%,即0.2 *a
b)假设句子相似度占整篇文章相似度的比重为50%,即0.5*b
c)假设段落的相似度占整篇文章相似度的比重为30%,即0.3*c
3、整篇文章的相似度为0.2*a + 0.5*b +0.3*c,剩下的就是该如何计算a、b、c的问题了。
a)主题词的相似度,可以根据主题词在两篇文章中的命中次数比例来计算
b)句子相似度,可以通过标点符号进行断句,计算出两篇文章中相同句子的数量和所有句子的数量比例来计算
c)段落的相似度,可以通过动态规划算法,具体参见《算法导论》动态规划部分计算出两篇文章相同字符串的最大长度来计算。
相关文章推荐
- 如何比较两个文本的相似度
- 如何比较两个文本的相似度 .
- 如何比较两个文本的相似度 .
- 如何比较两个文本的相似度
- 如何比较两个句子的相似度
- java比较两个文本的相似度
- 如何比较两个引用是否指向同一个对象?
- Java_比较两个图片的相似度
- 比较两个字符串的相似度
- 在Oracle中如何保存长文本??一个表中不能有两个CLOB或LONG或BLOB?
- 如何比较两个数据源的差异或相同
- 比较字符串总结:如果计算两个字符串的相似度或者距离
- excel 如何比较两个表的字段相同的
- 基于SQL Server中如何比较两个表的各组数据 图解说明
- Python比较两个文件(txt,csv等)相同内容合并同一文件/文本时间大小比较大小
- 如何比较两个算法的效率
- 如何使用proc compare比较两个数据集
- 如何比较两个时间字符串的大小
- Beyond Compare比较文本如何限制每行字符数
- 文本比较算法Ⅲ——计算文本的相似度