您的位置:首页 > 数据库

海量文本数据保存到数据库思路

2016-03-21 15:21 225 查看
最近在工作中处理大量的文本数据,并将其存入MySQL数据中。由于数据量比较大,故使用多线程处理文本中的数据。整个项目的实现大致是这样:

通过前端网页上传文本文件;
后台处理网页上传的文本文件,将相应的数据存储到数据库中;
后台数据全部处理完成后,将整个后台处理花费的时间传给前端,并显示。

在开发中,使用的技术以及一些问题。

使用SpringMVC做项目的整体架构;
后台处理数据使用多线程编程,使用了线程池ExecutorService,最终对时间使用了awitTermination方法;
使用ORM框架Hibernate,将数据持续化到数据库中;
前后台数据传输采用Json,整体采用RESTFUL设计风格。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: