使用httpcliet抓取网络数据的两套方案

简要说明：
需要进行用户登陆的抓取网络数据解决方案。
用户的许多操作都必须是登陆后才能进行的，
第一种指，登陆后，可以做任何操作，但连接不能断
第二种指，每次做任何操作，先登陆 ，再操作，操作完成之后，关闭连接。


第一种方式：维持长连接
1.使用session保存一个httpclient对象,httpclient维护客户端与server连接
2.用户只用验证一次，即可做所有的操作。
3.server可能会维持大量连接
4.session 30分钟没使用，会自动断开连接
5.httpclient在全局有效。



第二种方式：不维持长连接
1.每次抓取数据操作，使用一个httpclient，使用完毕后，关闭httpclient.
2.server不会维持大量连接
3.每次用户操作都需要进行用户验证，比如获得课表这一操作，需要先登陆用户，再得到课表。
4.每次操作后，需要关闭httpclient.
5.httpclient在一次操作中有效。

例如：
抓取教务系统数据：
第一种方式是：先登陆上教务系统 ，然后一直保持着和教务系统的长连接，直到30分钟没有操作，连接自动关闭，在保持连接的时候，用户可以任意的读取教务系统中的数据，比如课表，成绩，个人信息。
第二种方式是：用户想用看课表，好的，用户需要提供用户名，密码，以及看哪个课表。。server登陆上教务系统,获得了与教务系统的连接，得到课表后，server断开与教务系统的连接，server将请求到的数据返回给client.

转载于:https://my.oschina.net/u/1446644/blog/279732

• 点赞
• 收藏
• 分享
• 文章举报

chengshen0680 发布了0 篇原创文章 · 获赞 0 · 访问量 66 私信 关注