您的位置:首页 > 其它

搜索算法汇总

2016-01-27 16:45 211 查看
搜索引擎算法一:TrustRank 算法

TrustRank 是近年来比较受关注的基于链接关系的排名算法。TrustRank中文可以翻译为信任指数。

TrustRank 算法最初来自于2004年斯坦福大学和雅虎的一项联合研究,用来检测垃圾网站,并且于2006年申请专利。TrustRank 算法发明人还发表了一份专门的PDF文件,说明 TrustRank 算法的应用。

TrustRank 算法并不是由Google提出,不过由于Google所占市场份额最大,而且TrustRank在Google排名中也是一个非常重要的因素,所以有些人误以为TrustRank是Google提出的。更让人糊涂的是,Google曾经把TrustRank申请为商标,但是TrustRank商标中的TrustRank指的是Google检测含有恶意代码网站的方法,而不是指排名算法中的信任指数。

TrustRank算法基于一个基本假设:好的网站很少会链接到坏的网站。反之则不成立,也就是说,坏的网站很少链接到好网站这句话并不成立。正相反,很多垃圾网站会链接到高权威、高信任指数的网站,意图提高自己的信任指数。

基于这个假设,如果能挑选出可以百分之百信任的网站,这些网站的TrustRank评为最高,这些TrustRa,nk最高的网站所链接到的网站信任指数稍微降低,但也会很高。与此类似,第二层被信任的网站链接出去的第三层网站,信任度继续下降。由于种种原因,好的网站也不可避免地会链接到一些垃圾网站,不过离第一层网站点击距离越近,所传递的信任指数越高,离第一级网站点击距离越远,信任指数将依次下降。这样,通过TrustRank算法,就能给所有网站计算出相应的信任指数,离第一层网站越远,成为垃圾网站的可能性就越大。

计算TrustRank值首先要选择一批种子网站,然后人工查看网站,设定一个初始TrustRank值。挑选种子网站有两种方式,一是选择导出链接最多的网站,因为TrustRank算法就是计算指数随着导出链接的衰减。导出链接多的网站,在某种意义上可以理解为“逆向PR值”比较高。

另一种挑选种子网站的方法是选PR。值高的网站,因为PR值越高,在搜索结果页面出现的概率就越大。这些网站才正是TrustRank算法最关注的、需要调整排名的网站。那些PR值很低的页面,在没有TrustRank算法时排名也很靠后,计算TrustRank意义就不大了。

根据测算,挑选出两百个左右网站作为种子,就可以比较精确地计算出所有网站的TrustRank值。

计算TrustRank随链接关系减少的公式有两种方式。一是随链接次数衰减,也就是说第一层页面TrustRank指数是一百的话,第二层页面衰减为90,第三层衰减为80。第二种计算方法是按导出链接数目分配TrustRank值,也就是说一个页面的TrustRank值是一百,页面上有5个导出链接的话,每个链接将传递20%的TrustRank值。衰减和分配两种计算方法通常综合使用,整体效果都是随着链接层次的增加,TrustRank值逐步降低。

得出网站和页面的TrustRank值后,可以通过两种方式影响排名。一是把传统排名算法挑选出的多个页面,根据TrustRank值比较,重新做排名调整。二是设定一个最低TrustRank值门槛,只有超过这个门槛TrustRank值的页面,才被认为有足够的质量进入排名,低于门槛的页面将被认为是垃圾页面,从搜索结果中过滤出去。

虽然TrustRank算法最初是作为检测垃圾的方法,但在现在的搜索引擎排名算法中,TrustRank概念使用更为广泛,常常影响大部分网站的整体排名。TrustRank算法最初是针对页面级别,现在在搜索引擎算法中,TrustRank值也通常表现在域名级别,整个域名的信任指数越高,整体排名能力就越强。

搜索引擎算法二:Google PR

PR是PageRank的缩写。Google PR 理论是所有基于链接的搜索引擎理论中最有名的。SEO人员可能不清楚本节介绍的其他链接理论,但不可能不知道PR。

PR是Google创始人之一拉里佩奇发明的,用于表示页面重要性的概念。用最简单的话说就是,反向链接越多的页面就是最越重要的页面,因此PR值也越高。

Google Pr 有点类似于科技文献中互相引用的概念,被其他文献引用最多的文献,很可能是比较重要的文献。

PR的概念和计算

我们可以把互联网理解为由节点及链接组成的有向图,页面就是一个个节点,页面之间的有向链接传递着页面的重要性。一个链接传递的 PR 值决定于导入链接所在页面的 PR 值,发出链接的页面本身 PR 值越高,所能传递出去的PR。也越高。传递的 PR 数值也取决于页面上的导出链接数目。对于给定PR值的页面来说,假设能传递到下级页面 100 份 PR,页面上有10个导出链接,每个链接能传递10份PR,页面上有20个导出链接的话,每个链接只能传递5份PR。所以一个页面的PR值取决于导入链接总数,发出链接页面的PR值,以及发出链接页面上的导出链接数目。

PR值计算公式是:

PR(A)=(1-d) + d(PR(t1)/C(t1)+…+PR(tn)/C(tn))

A 代表页面A

PR(A)则代表页面A的PR值

d为阻尼指数。通常认为d=0.85

t1…tn代表链接向页面A的页面t1到tn

C 代表页面上的导出链接数目。C(t1)即为页面t1上的导出链接数目。

从概念及计算公式都可以看到,计算PR值必须使用迭代计算。页面A的PR值取决于链接向A的页面t1至m页面的PR值,而t1至tn页面的PR值又取决于其他页面的PR值,其中很可能还包含页面A。所以PR需要多次迭代才能得到。计算时先给所有页面设定一个初始值,经过一定次数的迭代计算后,各个页面的PR值将趋于稳定。研究证明,无论初始值怎么选取,经过迭代计算的最终PR值不会受到影响。

对阻尼系数做个简要说明。考虑如图这样一个循环(实际网络上是一定存在这种循环的)。

外部页面Y向循环注入PR值,循环中的页面不停迭代传递PR,没有阻尼系数的话,循环中的页面PR将达到无穷大。引入阻尼系数,使PR在传递时自然衰减,才能将PR计算稳定在一个值上。

PR的两个比喻模型

关于PR有两个著名的比喻。一个比喻是投票。链接就像民主投票一样,A页面链接到B页面,就意味着A页面对B页面投了一票,使得B页面的重要性提高。同时,A页面本身的PR。值决定了A所能投出去的投票力,PR值越高的页面,投出的票也更重要。在这个意义上,传统基于关键词匹配的算法是看页面自己说页面内容是什么,基于链接的PR则是看别人怎么评价一个页面。

第二个比喻是随机冲浪比喻。假设一个访问者从一个页面开始,不停地随机点击链接,访问下一个页面。有时候这个用户感到无聊了,不再点击链接,就随机跳到了另外一个网址,再次开始不停地向下点击。所谓PR。值也就是一个页面在这种随机冲浪访问中被访问到的概率。一个页面导入链接越多,被访问到的概率也越高,因此PR值也越高。

阻尼系数也与随机冲浪模型有关。(1一d)=0.15实际上就是用户感到无聊,停止点击,随机跳到新URL的概率。

工具条PR

真正的用于排名计算的 Google PR 值我们是无法知道的,我们所能看到的只是Google工具条PR值。需要清楚的是,工具条PR值并不是真实PR。值的精确反应。真实:PR值是一个准确的、大于0.15、没有上限的数字,工具条上显示的PR值已经简化为 0-10 十一个数字,是一个整数,也就是说PR值最小的近似为0,最大的近似为10。实际上每一个工具条PR值代表的是很大一个范围,工具条PR5代表的页面真实PR。值可能相差很多倍。

真正的PR值是不问断计算更新中的,工具条PR值只是某一个时间点上真实PR。值的快照输出。工具条PR几个月才更新一次,过去一年工具条PR值更新的日期如下所示:

2010年4月1号;2009年12月31号;2009年10月29号;2009年6月23号;2009年5月26号;2009年4月1号;2008年12月31号。

工具条PR与反向链接数目呈对数关系,而不是线性关系。也就是说从PR1到PR2需要的外部链接是100个的话,从PR2到PR3则需要大致1000个,PR5到PR6需要的外部链接则更多。所以PR。值越高的网站想提升一级所要付出的时间和努力比PR值比较低的网站提升一级要多得多。

关于PR的几个误解

PR的英文全称是PageRank。这个名称来源于发明人佩奇(Page)的名字,巧合的是Page在英文中也是页面的意思。所以准确地说PageRank这个名字应该翻译为佩奇级别,而不是页面级别。不过约定俗成,再加上形成巧妙的一语双关,大家都把PR。称为页面级别。

PR值只与链接有关。经常有站长询问,他的网站做了挺长时间,内容也全是原创,怎么PR还是零呢?其实PR与站长是否认真、做站多少时间、内容是否原创都没有直接关系。有反向链接就有PR,没有反向链接就没有PR。一个高质量的原创网站,一般来说自然会吸引到比较多的外部链接,所以会间接提高PR。值,但这并不是必然的。

工具条PR值更新与页面排名变化在时间上没有对应关系。在工具条PR值更新过程中,经常有站长说PR值提高了,难怪网站排名也提高了。肯定的说这只是时间上的巧合而己。前面说过,真实的用于排名计算的PR是连续计算更新的,随时计入排名算法。我们看到的工具条PR几个月才更新一次,当我们看到有PR更新时,真实的PR早在几个月之前就更新和计入排名里了。所以,通过工具条PR变化,研究PR值与排名变化之间的关系是没有意义的。

PR的意义

Google工程师说过很多次,Google PR 现在已经是一个被过度宣传的概念,其实PR只是Google排名算法200多个因素之一,而且重要性已经下降很多,SEO人员完全不必太执着于PR值的提高。

当然,PR还是Google排名算法中的重要因素之一。除了直接影响排名,PR的重要性还体现在下面几点。网站收录深度和总页面数。搜索引擎蜘蛛爬行时间以及数据库的空间都是有限的。Google希望尽量优先收录重要性高的页面,所以PR值越高的网站就能被收录更多页面,蜘蛛爬行内页的深度也更高。对大中型网站来说,首页PR值是带动网站收录的重要因素之一。

更新频率。PR值越高的网站,搜索引擎蜘蛛访问得就越频繁,网站上出现新页面或旧页面上内容更新时,都能更快速被收录。由于网站新页面通常都会在现有页面上出现链接,更新频率高也就意味着被发现的速度快。

重复内容判定。当Google在不同网站上发现完全相同的内容时,会选出一个作为原创,其他作为转载或抄袭。用户搜索相关关键词时,被判断为原创的那个版本会排在前面。而判断哪个版本为原创时,PR值也是重要因素之一。这也就是为什么那些权重高、PR值高的大网站,转载小网站内容却经常被当作原创的原因。

排名初始子集的选择。前面介绍排名过程时提到,搜索引擎挑选出所有与关键词匹配的文件后,不可能对所有文件进行相关性计算,因为返回的文件可能有几百万几千万,搜索引擎需要从中挑选出一个初始子集再做相关性计算。初始子集的选择显然与关键词相关度无关,而只能从页面的重要程度着手,PR值就是与关键词无关的重要度指标。

现在的PR算法比当初拉里佩奇专利中的描述肯定有了改进和变化。一个可以观察到的现象是,PR算法应该已经排除了一部分Google认为可疑或者无效的链接,比如付费链接,博客和论坛中的垃圾链接等。所以有时候我们会看到一个页面有PR6甚至PR7的导入链接,经过几次工具条PR。更新后,却还维持在PR3甚至PR2。按说一个PR6或7的链接,应该把被链接的页面带到PR5或PR4,所以很可能Google已经把一部分它认为可疑的链接排除在PR计算之外。

PR专利发明人是拉里佩奇,专利所有人是斯坦福大学,Google公司拥有永久性排他使用权。虽然PR。是Google拥有专利使用权的算法,但其他所有主流搜索引擎也都有类似算法,只不过不称为PR而己。

搜索引擎算法三:Hilltop 算法

m11top算法由Krishna Baharat在1999年到2000年左右所研究,于2001年申请了专利,并且把专利授权给Google使用,后来Krishna Baharat本人也加入了Google。

m11top算法可以简单理解为与主题相关的PR值。传统PR值与特定关键词或主题没有关联,只计算链接关系。这就有可能出现某种漏洞。比如一个PR值极高的关于环保内容的大学页面,上面有一个链接连向一个儿童用品网站,这个链接出现的原因可能仅仅是因为这个大学页面维护人是个教授,他太太在那个卖儿童用品的公司工作。这种与主题无关,却有着极高PR值的链接,有可能使一些网站获得很好排名,但其实相关性并不高。

m11top算法就尝试矫正这种可能出现的疏漏。m11top算法同样是计算链接关系,不过它更关注来自主题相关页面的链接权重。在m11top算法中把这种主题相关页面称为专家文件。显然,针对不同主题或搜索词有不同的专家文件。

根据m11top算法,用户搜索关键词后,Google先按正常排名算法找到一系列相关页面并排名,然后计算这些页面有多少来自专家文件的、与主题相关的链接,来自专家文件的链接越多,页面的排名分值越高。按m11top算法的最初构想,一个页面至少要有两个来自专家文件的链接,才能返回一定的m11top值,不然返回的m11top值将为零。

根据专家文件链接计算的分值被称为LocalRank。排名程序根据LocalRank值,对原本传统排名算法计算的排名做重新调整,给出最后排名。这就是前面讨论的搜索引擎排名阶段最后的过滤和调整步骤。

m11top算法最初论文和申请专利时对专家文件的选择有不同描述。在最初的研究中,KrishnaBaharat把专家文件定义为包含特定主题内容,并且有比较多导出链接到第三方网站的页面,这有点类似于HlTS算法中的枢纽页面。专家文件链接指向的页面与专家文件本身应该没有关联,这种关联指的是来自同一个主域名下的子域名,来自相同或相似IP地址的页面等。最常见的专家文件经常来自于学校、政府以及行业组织网站。

在最初的m11top算法中,专家文件是预先挑选的。搜索引擎可以根据最常见的搜索词,预先计算出一套专家文件,用户搜索时,排名算法从事先计算的专家文件集合中选出与搜索词相关的专家文件子集,再从这个子集中的链接计算LocalRank值。

不过在2001年所申请的专利中,Krishna Baharat描述了另外一个挑选专家文件的方法,专家文件并不预先选择,用户搜索特定查询词后,搜索引擎按传统算法挑出一系列初始相关页面,这些页面就是专家文件。m11top算法在这个页面集合中再次计算哪些网页有来自于集合中其他页面的链接,赋予比较高的LcocalRank值。由于传统算法得到的页面集合已经具备了相关性,这些页面再提供链接给某一个特定页面,这些链接的权重自然应该很高。这种挑选专家文件的方法是实时进行的。

通常认为m11top算法对2003年底的佛罗里达更新有重大影响,不过m11top算法是否真的已经被融入进Google排名算法中,没有人能够确定。Google从来没有承认,也没有否认自己的排名算法中是否使用了某项专利。不过从排名结果观察以及招揽Krishna Baharat至麾下等迹象看,m11top算法的思想得到了Google的极大重视。

m11top算法提示SEO,建设外部链接时更应该关注主题相关的网站。最简单的方法是搜索某个关键词,目前排在前面的页面就是最好的链接来源,甚至可能一个来自竞争对手网站的链接效果是最好的。当然,获得这样的链接难度最大。

搜索引擎算法四:李彦宏超链分析专利

百度创始人李彦宏在回国创建百度之前就是美国最顶级的搜索引擎工程师之一。据说李彦宏在

寻找风险投资时,投资人询问其他三个搜索引擎业界的技术高人一个问题:要了解搜索引擎技

术应该问谁。这三个被问到的高人中有两个回答:搜索引擎的事就问李彦宏。由此投资人断定

李彦宏是最了解搜索引擎的人之一。

这其实就是现实生活中类似于链接关系的应用。要判断哪个页面最有权威性,不能光看页面自

己怎么说,而要看其他页面怎么评价。

李彦宏1997年就提交了一份名为“超链文件检索系统和方法”的专利申请,这比Google创始

人发明PR要早得多,不得不说这是非常具有前瞻性的研究工作。在这份专利中,李彦宏提出

了与传统信息检索系统不同的基于链接的排名方法。

这个系统除了索引页面之外,还建立一个链接词库,记录链接锚文字的一些相关信息,如锚文

字中包含哪些关键词,发出链接的页面索引,包含特定锚文字的链接总数,包含特定关键词的

链接都指向哪些页面。词库不仅包含关键词原型,也包含同一个词干的其他衍生关键词。

根据这些链接数据,尤其是锚文字,计算出基于链接的文件相关性。在用户搜索时,将得到的

基于链接的相关性与基于关键词匹配的传统相关性综合使用,得到更准确的排名。

在今天看来,这种基于链接的相关性计算是搜索引擎的常态,每个SEO人员都知道。但是在十

三四年前,这无疑是非常创新的概念。当然现在的搜索引擎算法对链接的考虑,已经不仅仅是

锚文字,而要复杂得多。

这份专利所有人是李彦宏当时所在的公司,发明人是李彦宏本人。

二、百度与Google超链分析技术优缺点

百度与Google的核心技术是超链分析技术,超链分析是新一代搜索引擎的关键技术,已为世界各大搜索引擎普遍采用.据称百度总裁李彦宏是超链分析专利的唯一持有人。

超链分析技术的基本原理充分考虑了网页与网页之间的链接.提出了同引与同被引的概念。假设有3篇论文,论文A、论文B和论文C.如果论文B和论文C同时引用了论文A.直观上看.论文A的权威性要比论文B和论文C高,这叫同引;如果论文A同时引用了论文B和论文 C.那么我们可以说论文B和论文C所探讨的主题内容有相关关系.这叫同被引。将同引与同被引的概念引入网页分析.推导计算出中心页和权威页,可以提高检索结果的准确度。

百度和google这类基于超链分析的搜索引擎的基本思想即是:在某次搜索的所有结果中,被其他网页用超链指向得越多的网页,其价值就越高.就越应该在结果排序中排到前面。超链分析的结果可以反映网页的重要程度.利用某网页被其他网页的引用情况推导出该网页的权威性。这类似于文献计量学中的引文分析,从而给用户提供出更重要、更有价值的搜索结果,保证了用户在使用搜索引擎搜索时.越符合用户检索要求的内容排名越靠前。

超链分析是一种引用投票机制,对于静态网页或者网站主页,它具有一定的合理性,因为这样的网页容易根据其在因特网上受到的评价产生不同的超链指向量,超链分析的结果可以反映网页的重要程度.从而给用户提供出更重要、更有价值的搜索结果。

但是,超链分析本质上是针对一种公开的、通行的价值评估体系的,当用户搜索的目的是寻找关于某些关键字的站点资源或网站入口时,它是有效的:但当用户搜索的目的是寻找关于某些内容的有效信息本身时,超链分析的结果不仅没有参考价值,而且会破坏用户搜索结果的精确度。

用户搜索关于某些内容的有效信息时,最大的特点是各异性,就是说,没有绝对意义上的“好”网页或“坏”网页,只有“有用的”网页和“无用的”网页。有用的网页是包含了满足用户的搜索目的,能够提供给用户足够信息的网页,而无用的网页是与用户搜索目的不相关或不能够直接提供用户所需信息的网页。从普遍意义、通用意义上的价值来评估的搜索结果,对用户查找具体的资料和信息没有什么用处。某个被普遍引用的网页从绝对意义上来说,可能是更有价值的,但对用户来说却是无用的(例如各种门户和入口网页);而某个很少被引用的关于某个具体问题的文章的网页,对于某个用户的搜索目的来说,可能是最佳的结果。

超链分析技术的应用导致了用户搜索到的不是更符合自己需要的网页,而是找到那些最热门的网页。用户通过搜索寻找自己想要信息的主动过程.变成了接受一种根据某种标准排名次的网页的被动过程。在超链分析的影响下.搜索引擎的发展从追求对用户寻找到最有用信息的技术研究,演变成为了各个网站想尽办法追求网页排名的商业活动。从这个意义上来说.超链分析也许从商业上来说是有价值的,但从搜索引擎的基本用途来看,已经有些走入歧途。

文章提供:重庆网站建设http://www.31soft.net
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: