基于字符串比对的文档复制检测方法
2015-05-02 16:08
197 查看
基于字符串比对的文档复制检测方法是从文档中选取一些字符串,然后把字符串映射为Hash表中的数值,这些数值被称为“近似指纹''。通过统计Hash表中相同的“近似指纹”的数目或者比率来获得文档间的相似度。
过程:选取字符串----hash map-----Compute
Resemblance
1. Sif工具
首先构造一个字符集,字符集中的每个元素称为销(anchor),然后选择一个锚,取销之后的50个字节的字符作为“近似指纹'',然后通过hash运算将不同的字符串映射不同的数值,在比对两篇文档的数值集合,如果代表两篇文档的数值组合中相同的数字超过一定的阐值,则系统判断两篇文档相似。
2.Shingling
方法
Shingling方法是把W(窗口大小)个连续的单词被称为一个shingle,然后从文档中选取一定数量的shingles集合构成文档指纹集。生成shingles的基本思路是:
在shingling和过滤高频、无意义的停用词后,从第一个单词
始扫描,按照文本从左到右的阅览顺序,取滑动窗口大小W的词组作为第一个划分出来的shingle,然后再从第二词语开始扫描,按照相同的窗口大小来提取第二个shingle,这样一直下去,直到文本结束为止。为了更加形象的说明文本shingle的生成过程,举例如处理文本D:
Arose is arose。若窗口大小w=3,则shingles的集合为:{A rose is |
rose is a | is a rose}。
下一篇文章将介绍基于相似度估计方法。
相关文章推荐
- 一种基于Word文档的手写批注实现方法
- PHP基于DOM创建xml文档的方法示例
- 基于红外热成像的行人检测方法
- 一种基于Haar小波变换的彩色图像人脸检测方法
- 基于亚像素的边缘检测方法
- 基于日志的内存泄露检测方法(跨平台,支持C/C++)
- Javabean基于xstream包实现转XML文档的方法
- 字符串获取类、封装检测数字的方法
- 基于VS2005的MFC应用程序中(单文档)建立按键响应程序的方法
- 802.11无线网络中的自私违规行为检测——基于马尔科夫决策过程的自适应方法
- 基于 TensorFlow 在手机端实现文档检测
- 基于OpenCV的圆斑检测方法
- C语言进阶-第35讲:标准文件读写方法(以字符/字符串复制文件引发的思考)
- PHP 含换行符的字符串复制给js变量的方法
- mysql基于正则实现模糊替换字符串的方法分析
- js常用字符串检测方法 (正则表达式)
- 基于Java中字符串indexof() 的使用方法
- 基于JavaScript中字符串的match与replace方法(详解)
- 基于HSI空间颜色三角形的边缘检测方法