读书笔记《集体智慧编程》Chapter 4 : Searching and Ranking
2012-11-28 19:08
232 查看
本章概要
本章介绍了搜索引擎的基本原理,PageRank的基本思想和神经网络在学习用户点击行为,用于提高搜索结果的准确性方面的问题
搜索引擎基本原理
搜索引擎的基本框架:爬取网页—>制作索引—>检索查询。虽然只有这三步,熟练的工程师基本上一天就可以搭建一个小型的搜索引擎。但是每一步中可以深入研究的地方太多,涉及到的技术难点太多。本书概要的介绍了上面三个步骤,并用python实现了一个小巧的搜索引擎,关键点是要介绍如何对检索出来的内容进行排序。
内容排序
主要介绍了三种方式为搜索结果排序
基于页面内容排序:按照检索词的频率,检索词之间的位置,检索词在文本中的距离的标准排序。
基于页面之间的关系排序:采用PageRank(PageRank是根据google联合创始人之一的Larry Page命名的,一直以为与Web Page有关,所以叫PageRank)算法给页面评分,PageRank主要是根据每个页面的出度入度的关系为页面打分,然后根据分数排序。
基于用户行为的排序:采用了神经网络给用户点击行为建模,用于对一些没有发生过的查询组合给出合适的猜测。(原理上的东西没有讲的很深入,直接就上实现了,所以不是很懂)
当然,市面上的搜索引擎都不会只用上面的一种方式排序,而是会混搭使用,取长补短。
本章介绍了搜索引擎的基本原理,PageRank的基本思想和神经网络在学习用户点击行为,用于提高搜索结果的准确性方面的问题
搜索引擎基本原理
搜索引擎的基本框架:爬取网页—>制作索引—>检索查询。虽然只有这三步,熟练的工程师基本上一天就可以搭建一个小型的搜索引擎。但是每一步中可以深入研究的地方太多,涉及到的技术难点太多。本书概要的介绍了上面三个步骤,并用python实现了一个小巧的搜索引擎,关键点是要介绍如何对检索出来的内容进行排序。
内容排序
主要介绍了三种方式为搜索结果排序
基于页面内容排序:按照检索词的频率,检索词之间的位置,检索词在文本中的距离的标准排序。
基于页面之间的关系排序:采用PageRank(PageRank是根据google联合创始人之一的Larry Page命名的,一直以为与Web Page有关,所以叫PageRank)算法给页面评分,PageRank主要是根据每个页面的出度入度的关系为页面打分,然后根据分数排序。
基于用户行为的排序:采用了神经网络给用户点击行为建模,用于对一些没有发生过的查询组合给出合适的猜测。(原理上的东西没有讲的很深入,直接就上实现了,所以不是很懂)
当然,市面上的搜索引擎都不会只用上面的一种方式排序,而是会混搭使用,取长补短。
相关文章推荐
- 读书笔记《集体智慧编程》Chapter 9 : Advanced Classification: Kernel Methods and SVMs
- 《SICP》读书笔记--Chapter 3 Modularity, Objects and State
- 读书笔记《集体智慧编程》Chapter 8 : Build Price Models
- 读书笔记《集体智慧编程》Chapter 5 : Optimization
- 读书笔记《集体智慧编程》Chapter 10 : Finding Independent Features
- [读书笔记] 两则之一: Smarter video searching and indexing 更为智能的视频搜索和索引技术
- 读书笔记之 Advanced Bash-Scripting Guide Chapter 4 Introduction to Variables and Parameters
- 读书笔记《集体智慧编程》Chapter 2 : Make Recommendations
- 读书笔记《集体智慧编程》Chapter 7 : Modeling with Decision Tree
- 读书笔记《集体智慧编程》Chapter 11 : Evolving Intellignece
- <<iText in Action 2nd>>2.3节(Adding Anchor, Image, Chapter, and Section objects)读书笔记
- 读书笔记《集体智慧编程》Chapter 3 : Discovering Groups
- Searching and Ranking
- 读书笔记《集体智慧编程》Chapter 6 : Document Filtering
- Visualization Analysis and Design Tamara Munzner chapter 6 读书笔记
- [Career Cup 6][subjects from 31~35] Chapter 9 Sorting and Searching
- CareerCup Chapter 9 Sorting and Searching
- Searching: Tree Search And Insertion
- Probability and Statistics for Engineering and The Sciences 概率论与数理统计 读书笔记(一)
- 《Generic Programming and the STL》读书笔记