用JAVA如何实现每天1亿条记录的数据存储,数据库方面怎么设计?
2018-03-21 22:04
1256 查看
一天秒数:60*60*24=86,400秒每天写入数据量:100,000,000条平均每秒写入数据量:100,000,000/86,400=1157.5条峰值每秒估算写入数:1157.5*10=11575条因此建议从以下几个层面处理1、数据库服务器磁盘采用高速SSD磁盘2、数据库采用2个节点的集群方式部署,每个集群节点3台服务器,1主2备,主数据库为写数据库,备数据库为读数据,采用读写分离,单集群节点内主备库数据实时同步,集群节点主库数据实时同步3、数据表设计采用分区、分表方式设计表结构4、数据写入采用单事务批量写入的方法新增数据5、在关键字段建立索引,提高查询效率6、第一次查询后将数据缓存到redis中,方便下次查询
相关文章推荐
- Json树形结构数据转Java对象并存储到数据库的实现-超简单的JSON复杂数据处理
- JSON复杂数据处理之Json树形结构数据转Java对象并存储到数据库的实现
- Java实现从数据库导出大量数据记录并保存到文件的方法
- 现在电子商务网站建设中数据库如何设计使数据存储量变大
- [ mongoDB ] - 文档型数据库设计模式-如何存储树形数据 [转]
- [ mongoDB ] - 文档型数据库设计模式-如何存储树形数据
- 如何设计一个数据库中间件(支持百亿级别数据存储)
- Java实现头像截取裁剪后图片保存,获取的是base64数据,怎么转换为图片并保存到数据库。
- Java中如何实现每天定时对数据库的操作
- 如何在SQLServer中处理每天四亿三千万记录的(数据库大数据处理)
- 如何在SQLServer中处理每天四亿三千万记录的(数据库大数据处理)
- Tom White 是 Kizoom 的首席 Java 开发人员 实现的 如何实现每天定时对数据库的操作
- 希望大牛讨论 树状数据如何选择数据库和设计存储格式
- 如何在SQLServer中处理每天四亿三千万记录的(数据库大数据处理)
- 在Wince下如何实现数据存储到数据库中
- 文档型数据库设计模式-如何存储树形数据
- web开发 java如何连接数据库并取得数据,实现 增,删,改,查
- Java中如何实现每天定时对数据库的操作
- 文档型数据库设计模式-如何存储树形数据
- Java实现头像截取裁剪后图片保存,获取的是base64数据,怎么转换为图片并保存到数据库。