某一IT公司要求的python面试题
2014-10-21 21:53
239 查看
使用python编写一个网站爬虫程序,支持参数如下: spider.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number --dbfile filepath --key=”HTML5” 参数说明: -u 指定爬虫开始地址 -d 指定爬虫深度 --thread 指定线程池大小,多线程爬取页面,可选参数,默认10 --dbfile 存放结果数据到指定的数据库(sqlite)文件中 --key 页面内的关键词,获取满足该关键词的网页,可选参数,默认为所有页面 -l 日志记录文件记录详细程度,数字越大记录越详细,可选参数,默认spider.log --testself 程序自测,可选参数 功能描述: 1、指定网站爬取指定深度的页面,将包含指定关键词的页面内容存放到sqlite3数据库文件中 2、程序每隔10秒在屏幕上打印进度信息 3、支持线程池机制,并发爬取网页 4、代码需要详尽的注释,自己需要深刻理解该程序所涉及到的各类知识点 5、需要自己实现线程池 提示1:使用re urllib/urllib2 beautifulsoup/lxm2 threading optparse Queue sqlite3 logger testdoc等模块 提示2:注意是“线程池”而不仅仅是多线程 提示3:爬取sina.com.cn两级深度要能正常结束 建议程序可分阶段,逐步完成编写,例如: 版本1:Spider1.py -u url -d deep 版本2:Spider3.py -u url -d deep -f logfile -l loglevel(1-5) --testself 版本3:Spider3.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number 版本4:剩下所有功能
招聘网址 : http://blog.knownsec.com/2012/02/knownsec-recruitment/
这个python题目将会作为我近期的目标。
博文复制地址
用以致学!
相关文章推荐
- 某一IT公司要求的python面试题
- 某大型IT公司招网络工程师认证试题精选(要求:CCNA或HCNE以上)
- 国内顶级IT公司面试题的答案
- [置顶] 各大IT公司校园招聘程序猿笔试、面试题集锦
- 各大IT公司校园招聘程序猿笔试、面试题集锦
- [转] 某大型IT公司招网络工程师认证试题精选(要求:CCNA或 HCNE以上)
- [面试] 各大IT公司校园招聘程序猿笔试、面试题集锦
- 各大IT公司校园招聘程序猿笔试、面试题集锦
- 各大IT公司校园招聘程序猿笔试、面试题集锦
- 各大IT公司校园招聘程序猿笔试、面试题集锦
- 国内顶级IT公司面试题的答案
- 国内顶级IT公司面试题,看看大有收获
- 国内顶级IT公司面试题
- 各IT公司的笔试和面试题
- 某大型IT公司招网络工程师认证试题精选(要求CCNA或 HCNE以上)
- 国内顶级IT公司面试题的答案
- 国内顶级IT公司面试题
- IT公司C++笔试面试题系列(一)