初学python爬虫,记录一下学习过程,requests库获取网页代码
2020-03-06 15:27
288 查看
初学爬虫,在看崔庆才的书,记录一下。 #获取三秋书屋源代码 #导入requests库 import requests #定制请求头 headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' 'AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/80.0.3987.87 Safari/537.36'} #请求url网址 url = 'https://www.d4j.cn/' #使用get()方法获取该网页的源代码 r = requests.get(url,headers = headers) #打印状态码 200代表正常 print(r.status_code) #打印网页源代码,解码后的数据,有时会解码错误 print(r.text) #.content()为直接从网络上抓取的数据,没有经过解码 print(r.content)
加粗样式
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- 初学python爬虫,记录一下学习过程,requests库处理不信任证书问题
- 初学python爬虫,记录一下学习过程,requests库模拟登录02,使用 for循环处理cookies
- 初学python爬虫,记录一下学习过程,requests库模拟登录01
- 初学python爬虫,记录一下学习过程,requests库模拟登录03,使用字典推导式处理cookies
- 初学python爬虫,记录一下学习过程,xpath提取属性
- 初学python爬虫,记录一下学习过程,正则表达式综合练习,提取电影名称和图片网址
- 初学python爬虫,记录一下学习过程,xpath多属性匹配
- 初学python爬虫,记录一下学习过程,正则表达式提取图片网址
- 初学python爬虫,记录一下学习过程,requests xpath提取图片地址并保存图片
- 初学python爬虫,记录一下学习过程,requests xpath os 提取MM图片并保存本地 03
- 初学python爬虫,记录一下学习过程,requests xpath 提取图片并保存02
- 初学python爬虫,记录一下学习过程,xpath提取文本
- 初学python爬虫,记录一下学习过程,xpath属性多值匹配
- 初学python爬虫,记录一下学习过程,requests库session处理cookies并登录网址
- 初学python爬虫,记录一下学习过程,正则表达式提取文本
- 获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。在学习python爬虫
- python学习过程中的知识点,记录一下
- Python爬虫学习——获取网页
- Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程
- 【Python3.6爬虫学习记录】(一)爬取简单的静态网页图片