Jsoup无法获取document内容报告403错误(网络错误)
2016-04-02 00:00
453 查看
报告403错误, 是因为权限问题,以百度知道为例
直接使用会报403错误
解决办法:
有些网站的服务器在响应http请求的时候,需要客户端提交的信息比较完善,而在Jsoup的Connection类中这个Header就是完善请求信息用的。
我们的浏览器在请求网页的时候会在请求的头部head中发送一些数据,比如浏览器类型,版本,语言等等。当我们用Jsoup去完成请求网页的工作时,最好也要完善请求包头信息,完成这个工作的就是header方法。
header查看方法:用火狐的 firebug 或google 浏览器看着比较方便 快捷键:F12
https获得方法:
Document doc = Jsoup.connect("http://zhidao.baidu.com/daily").get();
直接使用会报403错误
解决办法:
Document doc = Jsoup.connect(" .header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0") .get();
有些网站的服务器在响应http请求的时候,需要客户端提交的信息比较完善,而在Jsoup的Connection类中这个Header就是完善请求信息用的。
我们的浏览器在请求网页的时候会在请求的头部head中发送一些数据,比如浏览器类型,版本,语言等等。当我们用Jsoup去完成请求网页的工作时,最好也要完善请求包头信息,完成这个工作的就是header方法。
header查看方法:用火狐的 firebug 或google 浏览器看着比较方便 快捷键:F12
https获得方法:
Connection 接口还提供一个方法链来解决特殊请求,具体如下: Document doc = Jsoup.connect("http://zhidao.baidu.com/daily") .data("query", "Java") .userAgent("Mozilla") .cookie("auth", "token") .timeout(3000) .post(); 这个方法只支持Web URLs (http和https 协议)
相关文章推荐
- HTTP响应头信息和请求头信息详解
- HTTP响应头和请求头信息对照表
- 重温 tcp/ip
- http libevent的使用
- Https加密及攻防
- 网络流与费用流(上)网络流
- TCP/IP 端口的分配
- linux基础网络工具学习笔记
- tcpdump抓包
- TCP/IP
- 机器学习技法-神经网络(NNet)
- 3143 二叉树的序遍历——http://codevs.cn/problem/3143/
- 读取网络适配器所有的物理地址
- 人工神经网络——笔记摘抄1
- 插件,非常好用的请求REST的工具restclient,和非常好用的请求http的工具HttpRequester,
- Android网络设置(route & DNS)
- 网络:NSURLConnection 缓存
- 网络:NSURLConnection队列
- 机器学习算法汇总:人工神经网络、深度学习及其它
- vmware虚拟机克隆CentOS7 出现的网络问题解决办法