(转)有一个小型的 pthon spider开源项目源码(很小)
2011-08-04 20:58
337 查看
这是一个python写就的spider,目前很小,只有几K,但是已经可以支持robots.txt协议和cookies,并且加入了事件机制,因为可以方便地为这个项目开发插件。有了插件的支持,这个spider就可以用来做各种各样的事情,用在各种目的上。
举些例子:
A.在网页设计师做好静态网页时,往往将链接设为”#”.在php程序员套程序时,经常有一些链接会忘了修改过来,留下很多置为”#”的坏链接。hyer在解析网页是遇到链接时,会产生一个new_original_url的事件,如果您的插件,设定在这个事件中检查新链接是否为”#”,如果是“#”就输出一个提示和当前页面的地址。这样这个插件就可以帮我们检查整个站点的程序套完了没有,有没有链接没有修改。
B.同上,在某个链接无法访问是,也有一个事件:url_fetch_error被激发。如果我们的插件设定此时输入URL地址,就可以做成一个死链检查工具。
地址:http://code.google.com/p/hyer/
不过已经被搬到:
https://github.com/xurenlu/hyer
去了。
有兴趣的筒靴可以看看源码
举些例子:
A.在网页设计师做好静态网页时,往往将链接设为”#”.在php程序员套程序时,经常有一些链接会忘了修改过来,留下很多置为”#”的坏链接。hyer在解析网页是遇到链接时,会产生一个new_original_url的事件,如果您的插件,设定在这个事件中检查新链接是否为”#”,如果是“#”就输出一个提示和当前页面的地址。这样这个插件就可以帮我们检查整个站点的程序套完了没有,有没有链接没有修改。
B.同上,在某个链接无法访问是,也有一个事件:url_fetch_error被激发。如果我们的插件设定此时输入URL地址,就可以做成一个死链检查工具。
地址:http://code.google.com/p/hyer/
不过已经被搬到:
https://github.com/xurenlu/hyer
去了。
有兴趣的筒靴可以看看源码
相关文章推荐
- 转: 如何快速学习一个开源项目源码?
- 一个下载Android开源项目源码的网站
- 开源项目Logger源码分析-----一个好看、简单、强大的logcat信息输出项目
- 一个C++游戏框架开源项目部分源码(仅供分享)
- 原创开源项目TinyFC: 一个模仿大型类库MFC的小型类库(VB6实现)
- 如何快速学习一个开源项目源码?
- 学习php开源项目的源码指南
- 一个强悍的.NET CMS开源项目Orchard的介绍
- 10个经典的Android开源项目(附源码包)
- 一个适合小型项目的通用Makefile模板
- 【Android开源项目分析】android轻量级开源缓存框架——ASimpleCache(ACache)源码分析
- sip phone VOIP开源项目源码地址
- 汇聚各种android开源项目源码分类总汇-IT蓝豹
- VOIP开源项目源码地址(一)
- 分享一个二维码扫描的开源项目
- 一个小型项目的目录结构和makefile的设计
- 如何快速接手一个项目(内部项目或开源项目)
- Android 开源项目源码解析 Volley 部分
- 参与一个Python的开源项目Python-QQ