跨JAVA WEB工程远程数据传输方案设计

跨JAVA WEB工程远程更新方案设计

版本：V0.1
作者：CG

背景

需要在JAVA跨WEB工程，基于HTTP协议可靠的传输大规模数据。
原因：在使用数据库远程连接的时候由于远程数据库连接本身的不可靠性（服务器端经常断开与JDBC的连接），而造成事务不断回滚而造成数据始终无法传递。所以需要设计一个可靠的、通用的远程更新方案。

方案流程

 

技术选型及实验结果

l         序列化、反序列化实验
使用第三方JAVA包xstream-1.3.1。
此包支持将数据进行XML格式的序列化、反序列化。
实验结果：
1.       该工具支持JAVA数据对象的序列化、反序列化。
2.       该工具支持JAVA容器对象的序列化、反序列化。
完全满足数据传输需求。
 
l         文件压缩实验
使用JAVA基本类库的java.util.zip工具，可以正确的将不包含中文字符的文件、目录打包。
满足本方案需求。
 
l         文件传输实验
上传方使用 commons-httpclient-3.1 工具模拟进行文件POST方法。
接收方使用 commons-fileupload-1.2.1 工具接收文件上传。
可以正确的传输文件，满足本方案需求。
 
l         数据实验
模拟实际数据，在一个任务批次下进行以上序列化、压缩。情况如下：
 
使用topv3库，模拟传输应用到的数据量。
数据记录如下：

表名	tasked	记录条数	序列化后文件大小
Display_top	8257568	774	89KB
display_top_url	8257568	15024	1967KB
video_information	all	997	392KB

 
总计数据库记录条数：16795
总计文件大小：2.38MB
压缩之后大小：223KB
 
序列化、反序列化、压缩和解压时间忽略不计，按文件传输时间为瓶颈估算一个批次时间：
 
假设上传速度为10KB/S（实际情况应该更快）， 一共需要22秒，可以接受。

 

流程保证

 
l         客户端
 
1.       客户端的序列化、打包在本地运行，调试完成之后处理静态数据一般不会出错（若出错则报告管理员），此处不再赘述。
2.       HTTP传输过程中，若本地超时（包括连接不到服务器）、或者服务器返回超时、失败信息，则中止当次传输任务，等待若干秒（需结合实际情况调整），再进行连接。
3.       若始终任务未成功（重试次数范围内未传输成功），则发邮件报警通知管理员。
4.       若服务器端解压缩、反序列化失败，立即返回任务失败。
 


 
客户端流程

 
l         服务器端
1．  接受到上传任务，则立即将当前任务清空。
2．  处理上传过程中，若遇到数据超时、失败，则立即给客户端返回相应信息。
3．  在解压、反序列化过程中若异常，则发邮件报警通知管理员。并返回给客户端失败。
 


 

服务器端流程

最终流程及选型汇总