Python爬虫初探

闲来无事研究了一下python的爬虫技术,现在总结一下

首先电脑上要有python的环境,mac上应该自动安装有2.x版本的,可以从网上下载最新的3.5.1,运行使用python3而不是python.我这里新下了3导致pip命令失效,应该是路径有问题,用pip3命令可以.

testClass.py 文件

#加上这个可以输入中文
# -*- coding:utf-8 -*-
#导入几个内置库
import urllib;
import urllib2;
import re;
import myTool;
#模拟浏览器和请求头,否则显示访问出错
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)';
headers = {'User-Agent':user_agent};

#对于class的使用还不了解
class Spider:

def __init__(self):
#默认网址
self.url = "";
#lowB English
self.tool = myTool.myZhengze();

def getHtml(self,url):
request = urllib2.Request(url,headers=headers);
response = urllib2.urlopen(request);
#此处更改网站编码方式,有的是GBK的,可以查看网页源代码的meta charset属性
return response.read().decode('utf-8');
#得到网址取出文字并写入文件
def getInfo(self,html):
#初步取出
#正则表达式解释: *匹配1个除\n外的字符,*匹配前一个字符0次货无数次,?匹配前一个字符0次或一次,也就是结束匹配
iden = '<div class="content">.*?</div>';
temp = re.compile(iden,re.S);
result = re.findall(temp,html);
for item in result:
middle = self.tool.myReplace(item);
hahah = self.tool.writeToFile('端午节快乐.txt',middle);
print middle;
return result;
#得到网址取出网站并下载图片
def getPic(self,html):
idenPic = '<img src=.*?.jpg';
tempPic = re.compile(idenPic,re.S);
result = re.findall(tempPic,html);
x = 0;
for item in result:
removeSome = re.compile('<img src="|"');
middle = re.sub(removeSome,'',item);
middle.strip();
#urllib.urlretrieve()方法，直接将远程数据下载到本地。
urllib.urlretrieve(middle,'%s.jpg' % x);
x+=1;
print middle;
return result;

spider = Spider();
a = spider.getHtml('http://www.qiushibaike.com/hot/1');
#print a;
b = spider.getInfo(a);
c = spider.getPic(a);
#print b;

myTool.py 文件

# -*- coding:utf-8 -*-
import re;
import sys;
reload(sys);
sys.setdefaultencoding('utf-8');
class myZhengze:
removeQiuBai = re.compile('<div class="content">');
removeDiv = re.compile('<div>|</div>')
removeBr = re.compile('<br/>');
#removeDiv = re.compile('<P>|<span class="copyright">|<P>')
def __init__(self):
return None;

def myReplace(self,x):
x = re.sub(self.removeQiuBai,"",x);
x = re.sub(self.removeDiv,"",x);
x = re.sub(self.removeBr,'',x);
return x.strip();
def writeToFile(self,filename,txt):
# 'w'是覆盖模式 'a'是追加格式
f = open(filename,'a');
f.write(txt);
f.write('\n')
f.close();

参考:

 http://www.cnblogs.com/fnng/p/3576154.html
http://cuiqingcai.com/990.html
代码地址
https://github.com/YoungFroever/qiushi

明天端午了,祝大家端午快乐(也就我自己了..).近半年没回过家今天晚上回去,想到回来之后跟高中上课般加班便头痛不已,还是先享受下三天的假期吧.