Python-爬取网页信息
2017-10-23 11:16
155 查看
本文信息获取只限于个人学习使用,不涉及任何商业。转载一定要声明出处,谢谢
对于信息爬取需要一定的基础,小白建议先学基础知识。
对于本次学习爬虫中的一些总结:1.要熟练掌握基础知识,包括一些基础的语法
2.正则表达式的正确使用,建议学习北理工的Python爬虫课程
3.先写大框架再添加小的功能解析
4.对程序异常处理要熟练,尽量使用try...excep结构
5.对于列表字符串数据的基本使用到位,比如增删改查等
6.思路必须清晰
以下是爬取过程代码:
import requests import re def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def parsePage(ilt, html): try: plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html) tlt = re.findall(r'\"raw_title\"\:\".*?\"',html) for i in range(len(plt)): price = eval(plt[i].split(':')[1]) title = eval(tlt[i].split(':')[1]) ilt.append([price , title]) except: print("") def printGoodsList(ilt): tplt = "{:4}\t{:8}\t{:16}" print(tplt.format("序号", "价格", "商品名称")) count = 0 for g in ilt: count = count + 1 print(tplt.format(count, g[0], g[1])) def main(): goods = '电脑' depth = 3 start_url = 'https://s.taobao.com/search?q=' + goods infoList = [] for i in range(depth): try: url = start_url + '&s=' + str(44*i) html = getHTMLText(url) parsePage(infoList, html) except: continue printGoodsList(infoList) main()
相关文章推荐
- python 网页爬虫,带登陆信息
- 使用python抓取网页(以人人网新鲜事和团购网信息为例)
- Python使用正则表达式获取网页中所需要的信息
- python 3 爬虫小白PyCharm爬取简单网页信息控制台错误
- 使用Python抓取网页信息
- 用Python程序抓取网页的HTML信息的一个小实例
- 使用Python抓取网页信息
- Python3 实现大众点评网酒店信息和酒店评论的网页爬取
- 用python怎样爬网页呢?其实就是根据URL来获取它的网页信息!
- Python3爬虫之二网页解析【爬取自己CSDN博客信息】
- lmth1 一个用Python编写的便捷网页信息提取工具 - _Luc_ - 博客园
- Python的学习(十九)--获取网页信息(一)
- 使用Python抓取网页信息
- Python编写网页爬虫爬取oj上的代码信息
- python 网络爬虫与信息采取之解析网页(一)--BeautifulSoup库
- Scrapy:Python3版本上安装数据挖掘必备的scrapy框架详细攻略(二最完整爬取网页内容信息攻略)——Jason niu
- Python 网页投票信息抓取
- Python网页抓取正则表达式应用练习-爬取基金信息
- Python抓取离线网页信息_学习笔记_1
- Python分布式爬虫前菜(2):关于提取网页源码中特定信息的技巧