您的位置:首页 > 编程语言 > Python开发

【实例】python 使用beautifulSoup 抓取网页正文 以淘宝商品价格为例

2018-02-24 22:25 956 查看
参考文章:
利用BeautifulSoup抓取新浪网页新闻的内容
使用Requests库和BeautifulSoup库来爬取网页上需要的文字与图片

-------------------------------------------------------------------
>>> import requests
>>> import re

>>> from bs4 import BeautifulSoup
>>> r=requests.get("https://s.taobao.com/search?q=iphone")
>>> html=r.text
>>> j=1
>>> title =re.findall(r'\"raw_title\"\:\".*?\"', html)
>>> price= re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
>>> for i in range(len(price)): #print 一定空格,后退一步,表示程序执行先后
...      print("标题为:{:50};价格为:{}".format(eval(title[i].split(':')[1]),eval(price[i].split(':')[1])))
...
标题为:【到手价5149】Apple/苹果 iPhone 8 64G 全网通4G手机 苹果8        ;价格为:5888.00
标题为:【限时低价疯抢】Apple/苹果 iPhone 6 32G 全网通4G手机             ;价格为:2299.00
标题为:ROCK车载手机支架汽车用苹果8x无线充电器iPhone重力出风口导航架              ;价格为:128.00
标题为:XPEL隐形车衣iphone x手机膜软膜苹果x手机膜iPhone X水凝贴膜           ;价格为:558.00
标题为:Belkin/贝尔金双口车充USB车载充电器iPhone 8/X/7plus点烟器快充       ;价格为:109.00
标题为:飞利浦车载无线充电器手机快三星iphone苹果万能通用出风口支撑架                 ;价格为:269.00
标题为:防滑垫车载手机支架仪表中控台汽车用硅胶苹果手机座iPhone导航仪                 ;价格为:48.00
标题为:【限量抢】Apple/苹果 iPhone 8 Plus 全网通手机苹果8plus          ;价格为:6258.00
标题为:Apple/苹果 iPhone 8 双网通 移动联通双4G 苹果8 iphone8         ;价格为:5338.00
标题为:【限量抢】Apple/苹果 iPhone 7 32GB双网通移动联通双4G原封国行         ;价格为:3988.00
标题为:【1399疯抢!】Apple/苹果 iPhone5s 移动联通双4G手机 原封国行         ;价格为:1399.00
标题为:【限时限量抢】Apple/苹果 iPhone 7 128G 全网通4G智能手机           ;价格为:5388.00
标题为:Apple/苹果 iPhone X 苹果X 新款苹果手机 5.8英寸 苹果8x 未激活       ;价格为:7108.00

使用Requests库和BeautifulSoup库来爬取网页上需要的文字与图片
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: