第三百三十六节,web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础
2017-08-01 15:59
579 查看
第三百三十六节,web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础
在urllib中,我们一样可以使用xpath表达式进行信息提取,此时,你需要首先安装lxml模块,然后将网页数据通过lxml下的etree转化为treedata的形式
urllib库中使用xpath表达式
etree.HTML()将获取到的html字符串,转换成树形结构,也就是xpath表达式可以获取的格式
BeautifulSoup基础
[b]BeautifulSoup是获取thml元素的模块[/b]
BeautifulSoup-3.2.1版本
在urllib中,我们一样可以使用xpath表达式进行信息提取,此时,你需要首先安装lxml模块,然后将网页数据通过lxml下的etree转化为treedata的形式
urllib库中使用xpath表达式
etree.HTML()将获取到的html字符串,转换成树形结构,也就是xpath表达式可以获取的格式
#!/usr/bin/env python # -*- coding:utf8 -*- import urllib.request from lxml import etree #导入html树形结构转换模块 wye = urllib.request.urlopen('http://sh.qihoo.com/pc/home').read().decode("utf-8",'ignore') zhuanh = etree.HTML(wye) #将获取到的html字符串,转换成树形结构,也就是xpath表达式可以获取的格式 print(zhuanh) hqq = zhuanh.xpath('/html/head/title/text()') #通过xpath表达式获取标题 #注意,xpath表达式获取到数据,有时候是列表,有时候不是列表所以要做如下处理 if str(type(hqq)) == "<class 'list'>": #判断获取到的是否是列表 print(hqq) else: xh_hqq = [i for i in hqq] #如果不是列表,循环数据组合成列表 print(xh_hqq) #返回 :['【今日爆点】你的专属资讯平台']
BeautifulSoup基础
[b]BeautifulSoup是获取thml元素的模块[/b]
BeautifulSoup-3.2.1版本
相关文章推荐
- 第三百二十七节,web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求
- python爬虫主要就是五个模块:爬虫启动入口模块,URL管理器存放已经爬虫的URL和待爬虫URL列表,html下载器,html解析器,html输出器 同时可以掌握到urllib2的使用、bs4(BeautifulSoup)页面解析器、re正则表达式、urlparse、python基础知识回顾(set集合操作)等相关内容。
- Python3.7 爬虫(一)使用 Urllib2 与正则表达式抓取
- 零基础写python爬虫之urllib2使用指南
- python爬虫 正则表达式使用技巧及爬取个人博客的实例讲解
- Python3.7 爬虫(二)使用 Urllib2 与 BeautifulSoup4 抓取解析网页
- Python爬虫urllib笔记(四)之使用BeautifulSoup爬取百度贴吧
- 爬虫之urllib.request基础使用(一)
- 用python写网络爬虫-使用xpath代替正则表达式
- python爬虫由浅入深8---正则表达式及Re库的基础与使用
- 零基础写python爬虫之urllib2使用指南
- Python爬虫——web前端基础XPath、Json和HTTP
- python爬虫里信息提取的核心方法: Beautifulsoup、Xpath和正则表达式
- 第三百三十二节,web爬虫讲解2—Scrapy框架爬虫—Scrapy使用
- Python的Urllib库的使用(爬虫基础)
- python3实现网络爬虫(6)--正则表达式和BeautifulSoup配合使用
- 运维学python之爬虫基础篇(二)urllib模块使用
- Web开发基础以及Tomcat基本使用(特别讲解mac如何启动tomcat)
- 学习爬虫基础3-urllib2库的基本使用
- Python 爬虫基础urllib的使用(二十)