Python中的urllib，urllib三种不同的请求方式

1、urllib获取服务器的资源

#3.x的标准写法
import urllib.request
import urllib.parse

#百度的首页
from bs4 import BeautifulSoup

url = "http://www.baidu.com/"
#发起一个request请求,得到返回对象
res = urllib.request.urlopen(url)
#查看http访问状态
if res.status == 200:
print("访问成功")
#获取数据
data = res.read().decode("utf-8")
print(data)
soup = BeautifulSoup(data)
print(soup.title.string)

2.urllib.request回顾

第一种是get请求
方式一：urllib.request.urlopen(url)
方式二：先创建一个urllib.request.Request对象，然后将对象放入urlopen中。urllib.request.urlopen(Request对象)
第二种是POST:携带数据过去
比如：登录用户名，密码
先创建一个urllib.request.Request
将请求数据放到Request对象中urllib.request.Request(url,data)
注意：在此之前先将data进行转化：
data = urllib.parse.urlencode(values)
第三种是：添加请求头

#get 请求
import urllib.request

#get 请求方式1
url = "http://www.baidu.com"
resp = urllib.request.urlopen(url)
if resp.status ==200:
data = resp.read().decode("utf-8")
#print(data)

#get请求方式2
url = "http://www.baidu.com"
req = urllib.request.Request(url)
resp = urllib.request.urlopen(req)
if resp.status ==200:
data = resp.read().decode("utf-8")
#print(data)

#post请求
data = {"name":"张三","age":"17"}
url = "http://www.baidu.com"
z_data = urllib.parse.urlencode(data)
req = urllib.request.Request(url,z_data.encode('utf-8'))
resp = urllib.request.urlopen(req)
if resp.status ==200:
data = resp.read().decode("utf-8")
#print(data)

#header
import urllib.parse
import urllib.request

url = "http://www.baidu.com"
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'Michael Foord',
'location' : 'Northampton',
'language' : 'Python'}
headers = {'User-Agent':user_agent}

data = urllib.parse.urlencode(values)
req = urllib.request.Request(url, data.encode("utf-8"), headers)
response = urllib.request.urlopen(req)
the_page = response.read().decode("utf-8")
print(the_page)