您的位置：首页 > 编程语言 > Python开发

Python 爬虫正则抽取网页数据和Scrapy简单使用

2016-01-21 16:55 831 查看

图片不显示的话点击这里

Python新手前些天看了一些基本语法发现继续看下去效果甚微(枯(ji)燥(mo)了)

知乎上面的大神都说爬虫那我就从爬虫开始实践学习吧

先从简单的静态的一个页面开始

干什么都得按照套路来一哥们经常这样说干啥事都有套路跟着我左手右手一个慢动作

如果不使用框架Scrapy

我们拿到这个网页的源文件之后

就得自己用正则表达式来抽取想要的数据

这里拿糗百做实验为什么是糗百因为我看的资料是糗百(无辜的糗百,宝宝不哭)

先要分析页面看怎么抽取出来我们想要的数据

发现段子都在这个
text标签里面

所以代码这么实现

#coding=utf-8
__author__ = 'Daemon'
import urllib2,re,time
class CB_Spider:
def __init__(self):
self.page=1
self.enable=True
#正则获取段子内容
def getPageContent(self):
myUrl='http://www.qiushibaike.com/hot/page/'+str(self.page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
req = urllib2.Request(myUrl, headers = headers)  #模拟浏览器
myResponse=urllib2.urlopen(req)
myPgae=myResponse.read()
unicodePage=myPgae.decode('utf-8')
#根据正则表达式拿到所有的内容
myItems=re.findall('<div.*?class="content">(.*?)</div>',unicodePage,re.S)
items=[]
print u'第%s页数据展示 ' %self.page
for item in myItems:
content=item.strip()
#拿到最后的<!--12345678910-->时间戳
timeContent=re.findall(r'<!--(.*?)-->',content)
#去掉时间戳
pattern=re.compile(r'<!--(.*?)-->')
content=re.sub(pattern,'',content)
if len(timeContent)>0:
timeContent=time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(int(timeContent[0])))
else:
timeContent=''
#每个段子前加上发布时间
print timeContent +'\n'+content
self.page+=1;
print u'''
-----------------------------
操作:输入daemon退出
功能:按下回车依次浏览今日的糗百热点
-----------------------------
'''
cbSpider=CB_Spider()
while cbSpider.enable:
myInput=raw_input()
if 'daemon'==myInput:
cbSpider.enable=False
break
else:
cbSpider.getPageContent()

到这里就是全部的代码用正则自己抽取相关网页的内容

但是一般人不这么玩在实际项目中还得用框架我开发Android的我也不会啥都自己写来看看Scrapy的简单使用怎么获取和上面一样的结果

先要安装相关的环境我是按照这个地址给出安装步骤进行当然不会每个人都一切顺利

遇到问题去Google 基本都能解决这里不是重点

Scrapy安装

安装好了之后第一步

创建一个scrapy工程看图上的CMD 命令行

我这里用的的Pycharm来打开这个工程这里只是为了结构看起来方便和写代码方便因为这里最后还是得靠cmd 来执行还没将Pycharm和Scrapy配置起来后面学习的时候跟着主流走

工程结构如下

这里就是创建工程现在来到我们的项目ScrapyDemo1 写好的

看看这几个文件能干嘛

items.py 写上自己的爬虫需要的数据的类和相关属性相当于在解析数据时的接收器

setting.py 看名字就知道是配置文件样子长这样这里是默认的哈

其余的几个暂时没用到先不说

xb_spider.py 就是我们的实现文件

#coding=utf-8
from scrapy import Spider
from ScrapyDemo1.items import XBItem
from scrapy.selector import Selector
__author__ = 'Daemon'
class XBSpider(Spider):
name='xb'  #必须
#allowed_domains = ["qiushibaike.com"]
#必须
start_urls=[
'http://www.qiushibaike.com/8hr/page/1'
]
#必须
def parse(self, response):
sel=Selector(response)
sites=sel.xpath('//div[@class="content"]')
#
# filename = 'xbdata'
# open(filename, 'w+').write(len(sites))
items=[]
for site in sites:
item=XBItem()
item['content']=site.xpath('text()').extract()
print items.append(item)
return items

用到了Selector Xpath

Selector文档

Xpath文档

W3c的截图