爬昵称网站昵称
2016-03-11 19:23
316 查看
项目需要继续爬点昵称~~~先上代码
#coding=utf-8 import urllib,urllib2 import re from bs4 import BeautifulSoup import time import sys reload(sys) sys.setdefaultencoding('utf-8') #获取要下载图片的整个页面的信息 def getHtml(url): page=urllib2.urlopen(url) html=page.read() # print html return html #筛选数据并打印到本地 def getImg(html): soup=BeautifulSoup(html,'html.parser') dls=soup.find_all('dl',attrs={'class':'feed_list'}) for index in range(len(dls)): p=dls[index].find_all('p')[0] print p.text f=open("nichengnan.txt","a") for index in range(len(dls)): nicheng=dls[index].find_all('p')[0].text f.write(nicheng) f.write('\r\n') f.close() user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_4) AppleWebKit/600.7.12 (KHTML, like Gecko) Version/8.0.7 Safari/600.7.12' headers={"User-Agent":user_agent} page=201 length=0 while page<231: url='http://www.qzone.cc/wangming/fav/list_'+str(page)+'.html' print "正在爬取第"+str(page)+"页......." # print "这里呢" request=urllib2.Request(url,headers=headers) html=getHtml(request) getImg(html) page=page+1 time.sleep(0.5) f=open('nichengnan.txt','r') lines=f.readlines() print "当前一共"+str(len(lines))+"条昵称" f.close()爬的是网址
http://www.qzone.cc/wangming/day/list_1.html跟上一个帖子里基本一样。。。找到规则后直接BS爬取。区别就是这里是手动输入定义要爬取的页码数,不必像那个一样一个网址一个网址复制。不过手动改写网址貌似还是有点麻烦。。。。后面可以通过分析最后一页的“下一页”和前面的有啥区别。稍后看看能不能解决。先这样
相关文章推荐
- Python3写爬虫(四)多线程实现数据爬取
- Scrapy的架构介绍
- 爬虫笔记
- Nodejs爬虫进阶教程之异步并发控制
- 如何优雅地使用c语言编写爬虫
- PHP实现简单爬虫的方法
- NodeJS制作爬虫全过程(续)
- node.js基础模块http、网页分析工具cherrio实现爬虫
- PHP爬虫之百万级别知乎用户数据爬取与分析
- 一个PHP实现的轻量级简单爬虫
- nodejs爬虫抓取数据乱码问题总结
- 基于Node.js的强大爬虫 能直接发布抓取的文章哦
- nodejs爬虫抓取数据之编码问题
- python实现爬虫统计学校BBS男女比例(一)
- Python使用爬虫猜密码
- python实现爬虫统计学校BBS男女比例之数据处理(三)
- JAVA使用爬虫抓取网站网页内容的方法
- 零基础写Java知乎爬虫之抓取知乎答案
- 零基础写Java知乎爬虫之先拿百度首页练练手
- Java实现爬虫给App提供数据(Jsoup 网络爬虫)