您的位置：首页 > 编程语言 > Python开发

python的requests.get()方法获取百度搜索结果页面失败的问题

2020-02-01 16:17 681 查看

昨天学到python的requests模块，准备获取一下百度搜索的结果，然后把相关链接打开，在get()结果页的时候一直取不到，
keyword=input(‘输入要搜索的关键字:’)
res=requests.get('https://www.baidu.com/s?wd=’+keyword)
取出来的html文件是这样的

<html>
<head>
<script>
location.replace(location.href.replace("https://","http://"));
</script>
</head>
<body>
<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>
</body>
</html>

查了一下别人的解决方法，都没大看懂，最后问了朋友才解决
原因是一开始请求消息里没带浏览器信息，百度不识别，所以不响应。

加一个headers，把浏览器信息写进去：
headers={‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36’}
res = requests.get('https://www.baidu.com/s?wd=’+keyword,headers=headers)

获取headers的方法：
打开浏览器（我用的谷歌，别的应该也差不多），F12，随便发个请求，然后如下图获取User-Agent


把headers加到参数里去就可以了，再发请求可以成功获取百度搜索结果页的html，截了一部分

如果有不对的地方欢迎大佬指正

  • 点赞 1
  • 收藏
  • 分享
  • 文章举报
拉链小子 发布了1 篇原创文章 · 获赞 1 · 访问量 932 私信 关注
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航