Python—爬虫—简单爬取豆瓣电影

在sublime中代码如下：

#-*- coding:utf-8 -*-

import urllib

import urllib2

import re

page= 0

file=open('C:/python27/1.txt','w')

#模拟浏览器访问：

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'

headers = { 'User-Agent' : user_agent } 

#页面最傻瓜式的设置，查看当前页面的页数，豆瓣喜剧电影目录以20的倍数间隔

while page <=1000:

url = "http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start="+str(page)+"&type=T"
request = urllib2.Request(url,headers = headers)
respose = urllib2.urlopen(request)
content = respose.read()
# print content

#正则表达式，这里仅用到“.*?”，代表任意字符

pattern = re.compile('<div.*?class="pl2".*?>.*?<a.*?href.*?class="">(.*?)<span.*?</span>.*?</a>.*?<p.*?</p>.*?<div.*?class="star.*?>.*?<span.*?</span>.*?<span.*?class="rating_nums">(.*?)</span>.*?<span.*?class="pl">(.*?)</span>',re.S)
items = re.findall(pattern,content)
for item in items:

#第一个item匹配出来字符后面跟着空字符和换行，对第一个item做了切面；pattern中有3个item，见匹配 规则中的（.*?）

   item1=item[0][:-26].strip()+str(' >')+item[1].strip()+str(' >')+item[2].strip()+'\n'

#写入文件，因列表式内容写入多行，用writelines:

   file.writelines(item1)

page +=20

这段简单代码适用于入门，完善方向：1、如何彻底骗过网站（模仿用户操作）2、如何判断终止页面 3、正则中存在某些页面匹配不全面，可进一步完善。