pytyhon抓取网页内容get post方法

用我自己的项目做的，就是在百姓网上找的信息，然后通过post传到我自己的网站上

#!/usr/bin/python

#-*-coding:utf-8-*-

import urlparse

import sys, urllib

import re

import urllib2

urlre = re.compile(r"href=[/"']?([^ >/"']+)")

#匹配链接

ur='http://changsha.baixing.com/diannao/'

con = urllib.urlopen(ur)

result =[]

for eachline in con:

if urlre.findall(eachline):

temp = urlre.findall(eachline)

for x in temp:

#如果为站内链接，前面加上url，而且是以a开头的url，因为我想得到的是百姓<a target="_blank" href="a64095497.html">之类的网站，

if not x.startswith("http:") and x.startswith('a'):

x = urlparse.urljoin(ur,x)

result.append(x)

leng=len(result)

print leng

for url in result:

wp = urllib.urlopen(url)

#打开连接

content = wp.read()

#获取页面内容

titlere = re.compile(r"<title>(.*?)</title>",re.I)

#匹配网页源代码中的title

title = titlere.search(content).group(1).decode('UTF-8').encode('GBK')

title=title.decode('mbcs')

#因为python的字符处理，得到的将是乱码，这是将得到的中文转换成unicode

con = re.compile(r"<p>([/s/S]*)</p>",re.I)

#匹配网页代码中的<p>中的字段

cont = con.search(content).group(1).decode('UTF-8').encode('GBK')

#将得到的字符转换成unicode

print cont

s=cont.split('<br />')

#将得到的内容通过split分成一个list，具体的看网页源代码

s[0]=s[0].decode('mbcs').replace('发布时间：','')

#将字符转换，然后进行替换

print s[0]

s[1]=s[1].decode('mbcs').replace('所在地：','')

print s[1]

#判断汉字！这很重要，网上根本查不到处理的方法

if '具体' in s[2].decode('mbcs'):

s[1]=s[1]+''+s[2].decode('mbcs').replace('具体地点：','')

s[2]=s[3].decode('mbcs').replace('价格：','')

s[3]=s[4]

else:

s[2]=s[2].decode('mbcs').replace('价格：','')

t=''

for i in s[3:-1]:

i=i.decode('mbcs')+'</br>'

t+=i

if '百姓网' in s[-1].decode('mbcs'):

s[-1]=s[-1].decode('mbcs').replace('百姓网','聚信网')

print s[-1]

t+=s[-1]

print s[0]

url = 'http://www.jixincs.info/addInfo'

#打开要输入的网站

values = ({'category':'1',

'school':'',

'subcategory':'5001',

'title':title,

'sumbit':'',

'price':s[2],

'phone':'',

'content':t,

'address':s[1],

'file':''})

#将Post的值通过字典进行传递

data = urllib.urlencode(values)

req = urllib2.Request(url, data)

response = urllib2.urlopen(req)

the_page = response.read()

#网页抓取的关键点就是汉字的字符转换问题，还有就是正则表达式的匹配问题