google为什么将爬虫从python移植到C++
2015-05-18 10:28
393 查看
这是好几年前Quora上的一个问题,有点过时,但看了之后感觉不错,就总结了一下
原文链接:http://www.quora.com/Why-did-Google-move-from-Python-to-C++-for-use-in-its-crawler
1.谷歌有强大的C++库支持分布式系统
2.C++运行更稳定
3.在当下的集群环境中,每一点点小的效率累加起来都带来很大的效益
4.发展起来的google并不是将开发效率放在首位,而更注重程序的稳定性
5.爬虫的主要瓶颈在于高并发,而python对高并发情形的细节控制不够,至少在当时是这样的。
原文链接:http://www.quora.com/Why-did-Google-move-from-Python-to-C++-for-use-in-its-crawler
1.谷歌有强大的C++库支持分布式系统
2.C++运行更稳定
3.在当下的集群环境中,每一点点小的效率累加起来都带来很大的效益
4.发展起来的google并不是将开发效率放在首位,而更注重程序的稳定性
5.爬虫的主要瓶颈在于高并发,而python对高并发情形的细节控制不够,至少在当时是这样的。
相关文章推荐
- 《用python写网络爬虫》--利用Google爬虫估算网站大小
- Google开源了Abseil,为C++和Python开发提供支持
- 分享:为什么 BIND 10 要用 C++ 和 Python 来写
- Python 网络爬虫 011 (高级功能) 支持代理proxy — 让爬虫可以爬取google,Youtube等网站
- C#开源爬虫NCrawler源代码解读以及将其移植到python3.2(2)
- Python简单的爬虫:Google的全部doodles
- PYTHON爬虫——谷歌(Google)图片关键词爬取
- C#开源爬虫NCrawler源代码解读以及将其移植到python3.2(2)
- google python/c++ code style naming
- PYTHON爬虫——谷歌(Google)图片关键词爬取
- 为什么 Python被Google选为TensorFlow的开发语言呢?使用 Python比C++语言进行机器学习有什么优势?
- Python爬虫入门-小试ImagesPipeline爬取pixabay和煎蛋之为什么是‘404’
- 为什么有如此多的C++测试框架 - from Google Testing Blog
- C#开源爬虫NCrawler源代码解读以及将其移植到python3.2(1)
- C#开源爬虫NCrawler源代码解读以及将其移植到python3.2(1)
- C#开源爬虫NCrawler源代码解读以及将其移植到python3.2(5)(selenium登场)
- 网络爬虫Java还是Python还是c++?
- C#开源爬虫NCrawler源代码解读以及将其移植到python3.2(5)(selenium登场)
- C++和python如何获取百度搜索结果页面下信息对应的真实链接(百度搜索爬虫,可指定页数)