python爬虫笔记(一):页面的获取(一)
2018-04-01 10:02
323 查看
写在前面
有关python爬虫笔记我会一直更新下去,如果您碰巧有什么好的建议,欢迎对我提出,不胜感激。获取页面
获取没有禁止爬虫的网页import requests url = "https://item.jd.com/4140539.html" try: r = requests.get(url) r.raise_for_status()#这个是检测网页响应,如果响应不对,会直接到except #print(r.status_code) #去掉前面#可以得到200,说明网页响应正确 r.encoding = r.apparent_encoding print(r.text[:100]) except: print("爬去失败")获取有禁止爬虫(检测headers)的网页
import requests url = "https://www.amazon.cn/dp/B079FLYB49/ref=cngwdyfloorv2_recs_0/460-7004898-2910845?pf_rd_m=A1AJ19PSB66TGU&pf_rd_s=desktop-2&pf_rd_r=MTJFMQEKZR9180R1YDRV&pf_rd_r=MTJFMQEKZR9180R1YDRV&pf_rd_t=36701&pf_rd_p=7149a3bb-2ee6-4f99-92eb-d87852365f8c&pf_rd_p=7149a3bb-2ee6-4f99-92eb-d87852365f8c&pf_rd_i=desktop" try : kv = {'user-agent':'Mozilla/5.0'} r = requests.get(url, headers = kv) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[1000:2000]) except: print("获取失败")3. 百度、360搜索关键词提交import requests
url = "http://www.baidu.com/s"
keyword = "Python"
try :
kv = {'wd': keyword}#借口有wd
r = requests.get(url, params = kv)
print(r.request.url) #查看浏览器的搜索
r.raise_for_status()
print(len(r.text))
98f8
#打印搜索网页
except:
print("获取失败")
网络图片的爬去和储存
import requests import os url = "http://image.nationalgeographic.com.cn/2017/1010/20171010012304725.jpg" root = "E://pics//" path = root + url.split('/')[-1] try : if not os.path.exists(root): os.mkdir(root) if not os.path.exists(path): r = requests.get(url) with open(path, 'wb') as f: f.write(r.content) f.close() print("文件保存成功") else: print("文件已经存在") except: print("获取失败")IP地址归属地的自动查询
import requests import os url = "http://m.ip138.com/ip.asp?ip=" try : r = requests.get(url+'202.204.80.112') r.raise_for_status() r.recoding = r.apparent_encoding print(r.text[-500:]) except: print("获取失败")
相关文章推荐
- Python爬虫入门之一(获取页面响应)
- python爬虫初级--获取指定页面上的菜单名称以及链接,然后导出
- python编写爬虫获取区域代码-递归获取所有子页面
- WSWP(用python写爬虫)笔记二:实现链接获取和数据存储爬虫
- Python实现可获取网易页面所有文本信息的网易网络爬虫功能示例
- C++和python如何获取百度搜索结果页面下信息对应的真实链接(百度搜索爬虫,可指定页数)
- 【python爬虫笔记】一:先爬一个小页面
- 关于加快python爬虫获取页面的方法
- 爬虫小探-Python3 urllib.request获取页面数据
- Python 爬虫笔记(获取整个站点中的所有外部链接)
- Python3.x学习笔记[1]:2种简单爬虫获取京东价格
- selenium自动化测试工具开发python爬虫-动态加载页面数据获取
- python爬虫-第一步,获取页面
- Python 爬虫笔记(对维基百科页面的深度爬取)
- 获取当前页面的所有链接的四种方法对比(python 爬虫)
- Python3爬虫入门之贴吧图片批量获取
- Python爬虫实现爬取京东手机页面的图片(实例代码)
- python爬虫学习之抓取一个页面
- 1.【python爬虫学习笔记】爬取豆瓣电影top250