python爬虫学习第五天

今天学习了urllib.parse这个模块定义了许多处理URL的标准接口，主要是对网页的URL进行拆分、合并

这部分的功能本身用起来比较简单，但需要对URL的结构有一定的理解才能很好的看懂和使用。

书上介绍的函数有:

urllib.parse.urlparse()//分析一个URL的成分，可以把一个URL拆分成最多六个部分

urllib.parse.urlunparse()//输入参数必须是六个，可以把这六个参数合并成一个完整的URL

urllib.parse.urlsplit()//原文介绍：

这个和urlparse()方法非常相似，只不过它不会单独解析parameters这一部分，只返回五个结果。上面例子中的parameters会合并到path中。

urllib.parse.urlunsplit()//原文介绍：

与urlunparse()类似，也是将链接的各个部分组合成完整链接的方法，传入的也是一个可迭代对象。 例如list、tuple等等，唯一的区别是，长度必须为5。

此外还有另外两个方法urllib.parse.urljoin()与urllib.parse.urlencode()//书中介绍的不是很多

练习1 urlparse

# from urllib.parse import urlparse

# result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
# print(type(result))
# print(result)

练习2 urlparse scheme参数

# from urllib.parse import urlparse

# result = urlparse('www.baidu.com/index.html;user?id=5#comment',scheme='https')
# print(result)
# result1 = urlparse('http://www.baidu.com/index.html;user?id=5#comment',scheme='https')
# print(result1)

练习3 urlparse的返回值是元组，可用数组式操作也可用类属性式的操作

# from urllib.parse import urlparse

# result = urlparse('http://www.baidu.com/index.html#comment',allow_fragments=False)
# print(result.scheme)
# print(result[0])
# print(result[1])
# print(result.netloc)

练习4 urlunparse

# from urllib.parse import urlunparse

# data = ['https','www.baidu.com','index.html','user', 'a=6', 'comment']
# print(urlunparse(data))

练习5 urlsplit 切分url

# from urllib.parse import urlsplit

# result = urlsplit('http://www.baidu.com/index.html;user?id=5#comment')
# print(result)
# print(result[0])
# print(result[1])
# print(result[2])
# print(result[3])
# print(result[4])

练习6 urlunsplit

# from urllib.parse import urlunsplit

# data = ['http', 'www.baidu.com', 'index.html', 'a=6', 'comment']
# print(urlunsplit(data))