【北大天网搜索引擎TSE学习笔记】第8节——检索关键词+结果排序

        这一节将介绍搜索功能入口程序TSESearch.cpp的第四步和第五步——检索关键词+结果排序。

        其实，检索关键词非常简单，因为已经建立了倒排表mapBuckets，它是一个map结构，检索某个关键词，就是用map的find方法查询（下面代码中的第27行），没有什么需要介绍的。也因此，TSE中将检索关键词和结果排序在一起实现，也就是main函数中调用的函数：iQuery.GetRelevantRst(vecTerm, mapBuckets, setRelevantRst)。

下面就看该函数的源代码，分析TSE中检索关键词和结果排序的实现。TSE的结果排序方法很简单，就是采用的词频（Term frequency）进行排序的，关于词频排序可以到网上搜索TF-IDF词条进行学习，这里不做详细说明。简单说，词频排序就是：网页中某个关键词出现次数（词频）越高，说明该网页与该关键词相关性越高，因而在结果排序中越优。

        下面的代码中加入了详细的注释（以“LB_C”开始的注释为我加入的）进行说明。

//LB_c: vecTerm中存储的用户查询字串分词以后的关键词，mapBucket为倒排表，setRelevantRst存储最终的查询的结果(里面存储
// 的是结果网页的docid)
bool CQuery::GetRelevantRst(vector<string> &vecTerm,
map<string,string> &mapBuckets,
set<string> &setRelevantRst) const
{
//LB_c: 临时存储已经查询的结果
set<string> setSRst;
bool bFirst=true;

//LB_c: 分别对vecTerm中的每一个关键词进行查询
vector<string>::iterator itTerm = vecTerm.begin();
for ( ; itTerm != vecTerm.end(); ++itTerm ){

//LB_c: setRelevantRst为已查询的结果，将setRelevantRst存入setSRst中，后面将用到。
setSRst.clear();
copy(setRelevantRst.begin(), setRelevantRst.end(),
inserter(setSRst,setSRst.begin()));

//LB_c: mapRstDoc是一个用于临时统计的map，string对应一个docID，int是该docID出现的次数(也就是当前关键词在docid
// 的网页中出现的次数，也成为"词频"，后面将称为"词频"), 后面是根据词频值对搜索结果进行排序的(即关键词出现次数
// 越多的网页应该越"优")。
map<string,int> mapRstDoc;
string docid;
int doccnt;
//LB_c: 在倒排表中查询关键词(*itTerm)
map<string,string>::iterator itBuckets = mapBuckets.find(*itTerm);
//LB_c: 在倒排表中找到了该关键词
if (itBuckets != mapBuckets.end()){

//LB_c: 获取该关键词出现的文档ID列表(即倒排表记录的第二项，忘记了的朋友可以看看第2节中倒排文件的结构)
string strBucket = (*itBuckets).second;

string::size_type idx;
idx = strBucket.find_first_not_of(" ");
strBucket = strBucket.substr(idx);

//LB_c: 循环从文档ID列表字符串中获取一个文档ID，并计算词频，插入mapRstDoc中
while ( (idx = strBucket.find(" ")) != string::npos ) {
docid = strBucket.substr(0,idx);
if (docid.empty()) continue;
doccnt = 0;	//LB_c: 计算词频
//LB_c: 到mapRstDoc中查询该docid是否出现过
map<string,int>::iterator it = mapRstDoc.find(docid);
//LB_c: 如果docid出现过
if ( it != mapRstDoc.end() ){
//LB_c: 获取词频((*it).second)加1存入doccnt
doccnt = (*it).second + 1;
//LB_c: 从mapRstDoc把该条记录删除，下面将重新插入
mapRstDoc.erase(it);
}

//LB_c: 将该条记录重新插入到mapRstDoc，其实先删除再插入这条记录的结果就是docid的词频加了1
//LB_c: 这里应该有点问题! 如果docid没出现过，那么doccnt的值为0，则插入到mapRstDoc的对应于docid
// 的词频0，所以前面doccnt的初值是不是应该为1呢?
mapRstDoc.insert( pair<string,int>(docid,doccnt) );

//LB_c: 去掉分析过的docid更新strBucket，继续分析下一个文档ID
strBucket = strBucket.substr(idx+1);
}

//LB_c: 下面这部分是处理strBucket中最后一个docid，因为while循环结束时，最后一个docid还没有处理
// remember the last one
docid = strBucket;
doccnt = 0;
map<string,int>::iterator it = mapRstDoc.find(docid);
if ( it != mapRstDoc.end() ){
doccnt = (*it).second + 1;
mapRstDoc.erase(it);
}
mapRstDoc.insert( pair<string,int>(docid,doccnt) );
}
//LB_c: 这一部分处理完后，mapRstDoc存储的是一系列docid和该docid的词频。

// sort by term frequencty
//LB_c: 这部分是对刚才的带有词频的文档查询结果mapRstDoc进行了排序，排序结果存入到newRstDoc中。
//LB_c: 注意newRstDoc的类型，第一个域为int表示docid的词频，第二个域是string表示docid，第三个域
// 是排序规则----以键值(词频)的降序排列，注意newRstDoc是multimap，也就是键值可以重复。
multimap<int, string, greater<int> > newRstDoc;
map<string,int>::iterator it0 = mapRstDoc.begin();
for ( ; it0 != mapRstDoc.end(); ++it0 ){
newRstDoc.insert( pair<int,string>((*it0).second,(*it0).first) );
}

//LB_c: 这部分是将当前关键词(*itTerm)的排序查询结果newRstDoc插入到最终的查询结果setRelevantRst中，
// 这里要参考前面的关键词查询结果。
multimap<int,string>::iterator itNewRstDoc = newRstDoc.begin();
//LB_c: 将最终的查询结果setRelevantRst清空
setRelevantRst.clear();
//LB_c: 循环读取newRstDoc中的每一条记录(这些记录是按docid的词频排序的)，根据情况插入到最终结果中
for ( ; itNewRstDoc != newRstDoc.end(); ++itNewRstDoc ){

//LB_c: 获取该条记录的docid
string docid = (*itNewRstDoc).second;
//LB_c: 如果当前关键词是第一个查询的关键词，则直接插入到结果集中
if (bFirst==true) {
setRelevantRst.insert(docid);
continue;
}

//LB_c: 如果不是第一个关键词查询，则看已查询结果集setSRst中是否有该docid，也就是前面查询的关键词
// 有没有出现在docid的网页中。这里也体现了TSE搜索的规则: 只有所有关键词都出现的网页才有效，部分关键
// 词出现的网页不作为搜索结果。如果setSRst中有该docid说明docid的网页也包含前面查询的关键词, 则将
// docid插入到最终结果集setRelevantRst中。
if ( setSRst.find(docid) != setSRst.end() ){
setRelevantRst.insert(docid);
}
}

//LB_c: 这里思考一下! 首先将setRelevantRst清空，然后将当前关键词(*itTerm)的排序结果newRstDoc插入到最终结果集
// setRelevantRst中。也就是最终的结果排序是以最后一个查询关键词的词频排序的，即最后一个关键词出现次数多的网页
// 排在前面。

bFirst = false;
}

return true;
}

这一节之后，关于TSE查询服务子系统的介绍就只剩下最后一节——显示搜索结果了，本来想年前把它写完的，由于明天回家过年了，是在没有时间了，所以只能年后再继续了。回家happy去啦~~ 也预祝各位读者新年快乐，工作顺利~~

By: