KMP模式匹配算法
2014-08-31 12:49
211 查看
一、定义
字符串序列:所谓序列说明串的相邻两字符之间具有前驱和后继的关系。
子串与主串:串中连续字符组成的子序列称为该串的子串,包含子串的串称为主串。子串在主串中的位置就是子串的第一个字符在主串中的序号。
ASCII与Unicode编码:以前计算机使用标准的ASCII编码(7位二进制表示128个字符),后来发现一些特殊符号的出现,128个不够用,于是扩展ASCII码由8位二进制(表示256个字符)数表示,可是还有其他国家的字符需要编码,于是Unicode编码采用16位二进制数(6.5万多个字符),足够表示世界上所有语言字符,为了兼容ASCII码,Unicode的前256个字符与ASCII码完全相同。
串与线性表:线性表更关注的是单个元素的操作:查找插入删除;串中更多的是查找子串位置,得到指定位置子串、替换子串等操作。
在介绍KMP算法之前,先介绍一下BF算法。
二、BF算法
BF算法是普通的模式匹配算法,BF算法的思想就是将目标串S的第一个字符与模式串P的第一个字符进行匹配,若相等,则继续比较S的第二个字符和P的第二个字符;若不相等,则比较S的第二个字符和P的第一个字符,依次比较下去,直到得出最后的匹配结果。
举例说明:
S: ababcababa
P: ababa
BF算法匹配的步骤如下
i=0 i=1 i=2
i=3 i=4
第一趟:ababcababa 第二趟:ababcababa 第三趟:ababcababa
第四趟:ababcababa 第五趟:ababcababa
ababa ababa
ababa ababa ababa
j=0 j=1 j=2 j=3 j=4(i和j回溯)
i=1 i=2 i=3 i=4 i=3
第六趟:ababcababa 第七趟:ababcababa 第八趟:ababcababa
第九趟:ababcababa 第十趟:ababcababa
ababa ababa ababa
ababa ababa
j=0 j=0 j=1 j=2(i和j回溯) j=0
i=4 i=5 i=6 i=7 i=8
第十一趟:ababcababa 第十二趟:ababcababa 第十三趟:ababcababa
第十四趟:ababcababa 第十五趟:ababcababa
ababa
ababa ababa ababa ababa
j=0 j=0 j=1 j=2 j=3
i=9
第十六趟:ababcababa
ababa
j=4(匹配成功)
代码实现:
如果要在str中匹配所有有效pattern出现的子串次数,只需要将break改成continue并计数即可。
其实在上面的匹配过程中,有很多比较是多余的。在第五趟匹配失败的时候,在第六趟,i可以保持不变,j值为2。因为在前面匹配的过程中,对于串S,已知s0s1s2s3=p0p1p2p3,又因为p0!=p1!,所以第六趟的匹配是多余的。又由于p0==p2,p1==p3,所以第七趟和第八趟的匹配也是多余的。在KMP算法中就省略了这些多余的匹配。
二.KMP算法
KMP算法之所以叫做KMP算法是因为这个算法是由三个人共同提出来的,就取三个人名字的首字母作为该算法的名字。其实KMP算法与BF算法的区别就在于KMP算法巧妙的消除了指针i的回溯问题,只需确定下次匹配j的位置即可,使得问题的复杂度由O(mn)下降到O(m+n)。
在KMP算法中,为了确定在匹配不成功时,下次匹配时j的位置,引入了next[]数组,next[j]的值表示P[0...j-1]中最长后缀的长度等于相同字符序列的前缀。
对于next[]数组的定义如下:
1) next[j] = -1 j = 0
2) next[j] = max(k): 0<k<j P[0...k-1]=P[j-k,j-1],注意到了吗?这是说真前缀和真后缀(不包括自己的前缀和后缀),如“aaab”,则next[3] = 2而不是3
3) next[j] = 0 其他
如:
P a b a b a
j 0 1 2 3 4
next -1 0 0 1 2
即next[j]=k>0时,表示P[0...k-1]=P[j-k,j-1]
因此KMP算法的思想就是:在匹配过程称,若发生不匹配的情况,如果next[j]>=0,则目标串的指针i不变,将模式串的指针j移动到next[j]的位置继续进行匹配;若next[j]=-1,则将i右移1位,并将j置0,继续进行比较。
因此KMP算法的关键在于求算next[]数组的值,即求算模式串每个位置处的最长后缀与前缀相同的长度, 而求算next[]数组的值有两种思路,第一种思路是用递推的思想去求算,还有一种就是直接去求解。
1.按照递推的思想:
根据定义next[0]=-1,假设next[j]=k, 即P[0...k-1]==P[j-k,j-1]
1)若P[j]==P[k],则有P[0..k]==P[j-k,j],很显然,next[j+1]=next[j]+1=k+1;
2)若P[j]!=P[k],则可以把其看做模式匹配的问题,即匹配失败的时候,k值如何移动,显然k=next[k]。
因此可以这样去实现:
2.直接求解方法
void getNext(int next[] , const char*pattern)
{
int pLen = strlen(pattern);
int i,j,temp;
for(i=0 ; i<pLen ; i++)//注意点1:遍历整个next数组
{
if(0 == i)
next[i] = -1;
else if(1 == i)
next[i] = 0;
else{
temp = i-1;
for(j=temp ; j>0 ; j--){//注意点2:找真前缀和真后缀重合最多情况
if(isEqual(pattern , i ,j)){//P[0,j-1]与P[i-j,i-1]是否相等
next[i] = j;
break;
}
if(0 == j)
next[i] = 0;
}
}
}
}
bool isEqual(const char *pattern , int i, int j)
{
int s = i-j;
int k;
for(k=0 ; k<=j-1 && s<=i-1 ; k++,s++){
if(pattern[k] != pattern[s])
return false;
}
return true;
}
字符串序列:所谓序列说明串的相邻两字符之间具有前驱和后继的关系。
子串与主串:串中连续字符组成的子序列称为该串的子串,包含子串的串称为主串。子串在主串中的位置就是子串的第一个字符在主串中的序号。
ASCII与Unicode编码:以前计算机使用标准的ASCII编码(7位二进制表示128个字符),后来发现一些特殊符号的出现,128个不够用,于是扩展ASCII码由8位二进制(表示256个字符)数表示,可是还有其他国家的字符需要编码,于是Unicode编码采用16位二进制数(6.5万多个字符),足够表示世界上所有语言字符,为了兼容ASCII码,Unicode的前256个字符与ASCII码完全相同。
串与线性表:线性表更关注的是单个元素的操作:查找插入删除;串中更多的是查找子串位置,得到指定位置子串、替换子串等操作。
在介绍KMP算法之前,先介绍一下BF算法。
二、BF算法
BF算法是普通的模式匹配算法,BF算法的思想就是将目标串S的第一个字符与模式串P的第一个字符进行匹配,若相等,则继续比较S的第二个字符和P的第二个字符;若不相等,则比较S的第二个字符和P的第一个字符,依次比较下去,直到得出最后的匹配结果。
举例说明:
S: ababcababa
P: ababa
BF算法匹配的步骤如下
i=0 i=1 i=2
i=3 i=4
第一趟:ababcababa 第二趟:ababcababa 第三趟:ababcababa
第四趟:ababcababa 第五趟:ababcababa
ababa ababa
ababa ababa ababa
j=0 j=1 j=2 j=3 j=4(i和j回溯)
i=1 i=2 i=3 i=4 i=3
第六趟:ababcababa 第七趟:ababcababa 第八趟:ababcababa
第九趟:ababcababa 第十趟:ababcababa
ababa ababa ababa
ababa ababa
j=0 j=0 j=1 j=2(i和j回溯) j=0
i=4 i=5 i=6 i=7 i=8
第十一趟:ababcababa 第十二趟:ababcababa 第十三趟:ababcababa
第十四趟:ababcababa 第十五趟:ababcababa
ababa
ababa ababa ababa ababa
j=0 j=0 j=1 j=2 j=3
i=9
第十六趟:ababcababa
ababa
j=4(匹配成功)
代码实现:
int BFIndex(const char*str , const char*pattern) { int sLen = strlen(str); int pLen = strlen(pattern); int i=0,j=0; int res = -1; while(i<sLen){ if(str[i] == pattern[j]){ i++; j++; }else{ i = i-j+1; j = 0; } if(j == pLen){//找到这样的子串 res = i-pLen; break; } } return res; }
如果要在str中匹配所有有效pattern出现的子串次数,只需要将break改成continue并计数即可。
其实在上面的匹配过程中,有很多比较是多余的。在第五趟匹配失败的时候,在第六趟,i可以保持不变,j值为2。因为在前面匹配的过程中,对于串S,已知s0s1s2s3=p0p1p2p3,又因为p0!=p1!,所以第六趟的匹配是多余的。又由于p0==p2,p1==p3,所以第七趟和第八趟的匹配也是多余的。在KMP算法中就省略了这些多余的匹配。
二.KMP算法
KMP算法之所以叫做KMP算法是因为这个算法是由三个人共同提出来的,就取三个人名字的首字母作为该算法的名字。其实KMP算法与BF算法的区别就在于KMP算法巧妙的消除了指针i的回溯问题,只需确定下次匹配j的位置即可,使得问题的复杂度由O(mn)下降到O(m+n)。
在KMP算法中,为了确定在匹配不成功时,下次匹配时j的位置,引入了next[]数组,next[j]的值表示P[0...j-1]中最长后缀的长度等于相同字符序列的前缀。
对于next[]数组的定义如下:
1) next[j] = -1 j = 0
2) next[j] = max(k): 0<k<j P[0...k-1]=P[j-k,j-1],注意到了吗?这是说真前缀和真后缀(不包括自己的前缀和后缀),如“aaab”,则next[3] = 2而不是3
3) next[j] = 0 其他
如:
P a b a b a
j 0 1 2 3 4
next -1 0 0 1 2
即next[j]=k>0时,表示P[0...k-1]=P[j-k,j-1]
因此KMP算法的思想就是:在匹配过程称,若发生不匹配的情况,如果next[j]>=0,则目标串的指针i不变,将模式串的指针j移动到next[j]的位置继续进行匹配;若next[j]=-1,则将i右移1位,并将j置0,继续进行比较。
因此KMP算法的关键在于求算next[]数组的值,即求算模式串每个位置处的最长后缀与前缀相同的长度, 而求算next[]数组的值有两种思路,第一种思路是用递推的思想去求算,还有一种就是直接去求解。
1.按照递推的思想:
根据定义next[0]=-1,假设next[j]=k, 即P[0...k-1]==P[j-k,j-1]
1)若P[j]==P[k],则有P[0..k]==P[j-k,j],很显然,next[j+1]=next[j]+1=k+1;
2)若P[j]!=P[k],则可以把其看做模式匹配的问题,即匹配失败的时候,k值如何移动,显然k=next[k]。
因此可以这样去实现:
int KMPIndex(const char*str , const char* pattern) { int i=0,j=0; int sLen = strlen(str); int pLen = strlen(pattern); int *next = new int[pLen]; getNext(next , pattern); int res = -1; while(i < sLen) { if(-1==j || str[i]==pattern[j]){ i++; j++; }else{ j=next[j]; } if(j == pLen){ res = i-pLen; break; } } delete []next; return res; } void getNext(int next[] , const char*pattern) { int pLen = strlen(pattern); int i=0 ,k=-1;//注意点1:k从-1开始 next[0] = -1; while(i < pLen-1)//注意点2:只计算前缀字符数组 { if(-1==k || pattern[i]==pattern[k]){ i++; k++; next[i] = k;//注意点3:事实上当p[i]=p[k]时,next[i+1]=next[i]+1=k+1,且此处k已自加一次了 }else{ k = next[k]; } } }
2.直接求解方法
void getNext(int next[] , const char*pattern)
{
int pLen = strlen(pattern);
int i,j,temp;
for(i=0 ; i<pLen ; i++)//注意点1:遍历整个next数组
{
if(0 == i)
next[i] = -1;
else if(1 == i)
next[i] = 0;
else{
temp = i-1;
for(j=temp ; j>0 ; j--){//注意点2:找真前缀和真后缀重合最多情况
if(isEqual(pattern , i ,j)){//P[0,j-1]与P[i-j,i-1]是否相等
next[i] = j;
break;
}
if(0 == j)
next[i] = 0;
}
}
}
}
bool isEqual(const char *pattern , int i, int j)
{
int s = i-j;
int k;
for(k=0 ; k<=j-1 && s<=i-1 ; k++,s++){
if(pattern[k] != pattern[s])
return false;
}
return true;
}