一个简单的爬虫douban_list_spider.py

源码在此：

https://github.com/CuiBinghua/douban_list_spider/blob/master/douban_list_spider.py

1. 简介

douban_list_spider.py是一个简单的爬虫，可以根据关键字抓取豆瓣电影、豆瓣读书或者豆瓣音乐的条目信息.

2.
Python环境

本人的Python版本为：2.6.6

另外还需要安装必要的Python插件：

$ easy_install requests

$ easy_install BeautifulSoup4

3.
执行抓取

首先对douban_list_spider.py中的变量object、tag_list和page_num进行配置。

然后执行命令即可：

$ python douban_list_spider.py

最后，就可以在相同目录下查看到输出文件movie_list.txt、book_list.txt或者music_list.txt了。

4.
参考资料

http://plough-man.com/?p=379

https://github.com/plough/myCrawler/blob/master/doubanBook/book_list_spider.py