文本相似度——自己实现文本相似度算法（余弦定理）

publicclassCosineSimilarAlgorithm{
publicstaticdoublegetSimilarity(Stringdoc1,Stringdoc2){
if(doc1!=null&&doc1.trim().length()>0&&doc2!=null
&&doc2.trim().length()>0){

Map<Integer,int[]>AlgorithmMap=newHashMap<Integer,int[]>();

//将两个字符串中的中文字符以及出现的总数封装到，AlgorithmMap中
for(inti=0;i<doc1.length();i++){
chard1=doc1.charAt(i);
if(isHanZi(d1)){
intcharIndex=getGB2312Id(d1);
if(charIndex!=-1){
int[]fq=AlgorithmMap.get(charIndex);
if(fq!=null&&fq.length==2){
fq[0]++;
}else{
fq=newint[2];
fq[0]=1;
fq[1]=0;
AlgorithmMap.put(charIndex,fq);
}
}
}
}

for(inti=0;i<doc2.length();i++){
chard2=doc2.charAt(i);
if(isHanZi(d2)){
intcharIndex=getGB2312Id(d2);
if(charIndex!=-1){
int[]fq=AlgorithmMap.get(charIndex);
if(fq!=null&&fq.length==2){
fq[1]++;
}else{
fq=newint[2];
fq[0]=0;
fq[1]=1;
AlgorithmMap.put(charIndex,fq);
}
}
}
}

Iterator<Integer>iterator=AlgorithmMap.keySet().iterator();
doublesqdoc1=0;
doublesqdoc2=0;
doubledenominator=0;
while(iterator.hasNext()){
int[]c=AlgorithmMap.get(iterator.next());
denominator+=c[0]*c[1];
sqdoc1+=c[0]*c[0];
sqdoc2+=c[1]*c[1];
}

returndenominator/Math.sqrt(sqdoc1*sqdoc2);
}else{
thrownewNullPointerException(
"theDocumentisnullorhavenotcahrs!!");
}
}

publicstaticbooleanisHanZi(charch){
//判断是否汉字
return(ch>=0x4E00&&ch<=0x9FA5);

}

/**
*根据输入的Unicode字符，获取它的GB2312编码或者ascii编码，
*
*@paramch
*输入的GB2312中文字符或者ASCII字符(128个)
*@returnch在GB2312中的位置，-1表示该字符不认识
*/
publicstaticshortgetGB2312Id(charch){
try{
byte[]buffer=Character.toString(ch).getBytes("GB2312");
if(buffer.length!=2){
//正常情况下buffer应该是两个字节，否则说明ch不属于GB2312编码，故返回'?'，此时说明不认识该字符
return-1;
}
intb0=(int)(buffer[0]&0x0FF)-161;//编码从A1开始，因此减去0xA1=161
intb1=(int)(buffer[1]&0x0FF)-161;//第一个字符和最后一个字符没有汉字，因此每个区只收16*6-2=94个汉字
return(short)(b0*94+b1);
}catch(UnsupportedEncodingExceptione){
e.printStackTrace();
}
return-1;
}
}