利用编辑距离计算文本相似性

文本相似性

编辑距离

什么是编辑距离？

看下百度百科的介绍：编辑距离（Edit Distance），又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大。

比如说:

kitten->sitten （k→s）

sitten->sittin （e→i）

sittin->sitting （插入g）

找出字符串s1和字符串s2的编辑距离，就是求出字符串s1变成字符串s2的最小操作步骤，主要操作步骤有三种：交换、删除、插入。可以利用动态规划的思想来求解字符转 s1和字符串s2的编辑距离。

动态规划公式如下所示：

distance[i][0]=i,if(i>=0,j==0) distance[0][j]=j,if(i==0,j>=0) distance[i][j]=min(distance[i−1][j],distance[i][j−1],distance[i−1][j−1]),if(s1[i]==s2[j]) distance[i][j]=min(distance[i−1][j],distance[i][j−1],distance[i−1][j−1]+1),if(s1[i]≠s2[j])

代码示例

package com.myapp.ml.nlp;

import org.apache.commons.lang3.StringUtils;

/**
* Created by lionel on 16/12/21.
*/
public class EditDistance {
public int editDistance(String A, String B) {
if (StringUtils.isBlank(A + B)) {
return 0;
}
int lengthA = A.length();
int lengthB = B.length();
int[][] distance = new int[lengthA + 1][lengthB + 1];

for (int i = 0; i < lengthA; i++) {
distance[i][0] = i;
}

for (int i = 0; i < lengthB; i++) {
distance[0][i] = i;
}

for (int i = 1; i < lengthA; i++) {
for (int j = 1; j < lengthB; j++) {
int cost = A.charAt(i - 1) == B.charAt(j - 1) ? 0 : 1;
int deletion = distance[i - 1][j] + 1;
int insertion = distance[i][j - 1] + 1;
int exchange = distance[i - 1][j - 1] + cost;
distance[i][j] = Math.min(exchange, Math.min(insertion, deletion));
}
}

return distance[lengthA - 1][lengthB - 1];
}

public static void main(String[] args) {
EditDistance editDistance = new EditDistance();
String str2 = "kitten";
String str1 = "sitting";
System.out.println(editDistance.editDistance(str1, str2));//3
}
}