python_从web抓取文档
2011-11-20 11:17
190 查看
从Web 的一个URL中抓取文档
代码:
结果:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
..........................网页内容
</body>
</html>
(0, 8192, -1)
(1, 8192, -1)
(2, 8192, -1)
(3, 8192, -1)
(4, 8192, -1)
(5, 8192, -1)
urllib.urlopen返回一个类文件对象..
代码:
import urllib doc = urllib.urlopen("http://www.python.org").read() print doc 直接打印出网页 def reporthook(*a): print a #将http://www.renren.com网页保存到renre.html中,每读取一个块调用一字reporthook函数 urllib.urlretrieve("http://www.renren.com",'renren.html',reporthook) #将http://www.renren.com网页保存到renre.html中urllib.urlretrieve("http://www.renren.com",'renren.html')
结果:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
..........................网页内容
</body>
</html>
(0, 8192, -1)
(1, 8192, -1)
(2, 8192, -1)
(3, 8192, -1)
(4, 8192, -1)
(5, 8192, -1)
urllib.urlopen返回一个类文件对象..
相关文章推荐
- python实现从web抓取文档的方法
- python实现从web抓取文档的方法
- Python Web数据抓取(xpath版)
- 如何理解Python的web框架tornado文档里面的用户认证的self.current_user?
- 用python写了一个简单的模拟浏览器抓取网页的库webclient
- python的web抓取技术
- Python学习(从Web抓取信息)
- python 爬虫利用webdriver 跳过登陆 进行小规模抓取信息
- Python Post and Get 登陆web后台系统并抓取页面
- Python学习(从Web抓取信息)
- 黄聪:使用Python中的HTMLParser、cookielib抓取和解析网页、从HTML文档中提取链接、图像、文本、Cookies(二)
- 黄聪:使用Python中的HTMLParser、cookielib抓取和解析网页、从HTML文档中提取链接、图像、文本、Cookies(二)
- Python Post and Get 登陆web后台系统并抓取页面
- Python抓取网页动态数据——selenium webdriver的使用
- 分享:十Python之Http Web服务(网页抓取二)
- 使用Python中的HTMLParser、cookielib抓取和解析网页、从HTML文档中提取链接、图像、文本、Cookies .
- python自动化之web抓取
- 如何用 Python 实现 Web 抓取?
- Python中的HTMLParser、cookielib抓取和解析网页、从HTML文档中提取链接、图像、文本、Cookies(二)
- 如何用 Python 实现 Web 抓取?