Python3 BeautifulSoup4结合urllib简单使用

import urllib.request
from bs4 import BeautifulSoup
import re

def getgxnu():
url="http://www.gxnu.edu.cn/default.html"
data=urllib.request.urlopen(url).read()
page_data=data.decode('GBK')
'''print(page_data)'''
soup=BeautifulSoup(page_data)
#for link in soup.findAll('a',target='_self'):#get all links of gxnu index
#    print(link)
for link in soup.findAll('a',href=re.compile('http://\\S+/type/\\d+.html')):#使用正则表达式
print(link['href'],link.contents)

#函数调用
getgxnu()

>>> http://www.gxnu.edu.cn/type/010400000102.html ['\n', <span>学校概况</span>] http://www.gxnu.edu.cn//type/010400000102.html ['学校简介'] http://www.gxnu.edu.cn/type/01040000010202.html ['学校沿革'] http://www.gxnu.edu.cn/type/01040000010203.html ['学校领导'] http://www.gxnu.edu.cn/type/01040000010204.html ['校园风光'] http://www.gxnu.edu.cn/type/01040000010205.html ['校园地图'] http://www.gxnu.edu.cn/type/01040000010206.html ['校歌 校训 校徽'] http://www.gxnu.edu.cn/type/01040000010207.html ['学校视觉形象识别系统'] http://www.gxnu.edu.cn/type/01040000010208.html ['校史资料'] http://www.gxnu.edu.cn/type/010400000103.html ['\n', <span>机构设置</span>] http://www.gxnu.edu.cn/type/010400000103.html ['教学单位'] http://www.gxnu.edu.cn/type/010400000103.html ['管理部门'] http://www.gxnu.edu.cn/type/010400000103.html ['业务部门'] http://www.gxnu.edu.cn/type/010400000103.html ['附属单位'] http://www.gxnu.edu.cn/type/010400000104.html ['\n', <span>学术研究</span>] http://www.gxnu.edu.cn/type/01040000010401.html ['科研管理'] http://www.gxnu.edu.cn/type/01040000010402.html ['科研机构'] http://www.gxnu.edu.cn/type/01040000010403.html ['重点学科'] http://www.gxnu.edu.cn/type/01040000010404.html ['重点实验室'] http://www.gxnu.edu.cn/type/01040000010405.html ['学术刊物'] http://www.gxnu.edu.cn/type/010400000105.html ['\n', <span>人才队伍</span>] http://www.gxnu.edu.cn/type/010400000106.html ['\n', <span>招生就业</span>] http://www.gxnu.edu.cn/type/01040000010601.html ['招生信息'] http://www.gxnu.edu.cn/type/01040000010602.html ['就业信息'] http://www.gxnu.edu.cn/type/01040000010603.html ['就业指导'] http://www.gxnu.edu.cn/type/010400000107.html ['\n', <span>图书档案</span>] http://www.gxnu.edu.cn/type/01040000010801.html ['\n', <span>公共服务</span>] http://www.gxnu.edu.cn/type/01040000010801.html ['教学服务'] http://www.gxnu.edu.cn/type/01040000010805.html ['其他'] http://www.gxnu.edu.cn/type/010400000111.html ['\n', <span>校园文化</span>] http://www.gxnu.edu.cn/type/01040000011101.html ['学生社团'] http://www.gxnu.edu.cn/type/010400000112.html ['\n', <span>ENGLISH</span>]
>>>