【Azure Redis 缓存】Redis导出数据文件变小 / 在新的Redis复原后数据大小压缩近一倍问题分析
2021-11-15 20:52
696 查看
问题描述
使用 Azure Cache for Redis 服务,在两个Redis服务之间进行数据导入和导出测试。在Redis中原本有7G的数据值,但是导出时候发现文件大小仅仅只有30MB左右,这个压缩比这么大吗? 然后把导出文件导入到第二个Redis服务中,数量大小也只有500MB左右,问题是:由原来的7G变为现在的500MB,如何来确认没有丢失数据呢?
(Azure Cache For Redis服务导出数据都保存在Azure Storage Account的Blob中)
问题解答
该现象是一个正常的行为,在导出后应该注意的是Keys数量是否相同,而不是文件Size大小。只要确认两个Redis库之间 Keys 数量基本一致。那就表明,没有数据丢失。可以在Azure Redis门户Overview页面,通过Console数据 info keyspace 来查看当前库中所含Keys的数量。
关于压缩比的问题,因为导出功能是把Redis中的Key/Value生成RDB文件,这是Redis本身的行为,并不是Azure平台的特性功能。通过查看 Redis 的官方文档(https://raw.githubusercontent.com/redis/redis/6.0/redis.conf), 默认使用的是 LZF 压缩算法。
# Compress string objects using LZF when dump .rdb databases? # By default compression is enabled as it's almost always a win. # If you want to save some CPU in the saving child set it to 'no' but # the dataset will likely be bigger if you have compressible values or keys. rdbcompression yes
参考文件
在 Azure Redis 缓存中导入和导出数据 : https://docs.azure.cn/zh-cn/azure-cache-for-redis/cache-how-to-import-export-data
相关文章推荐
- 读取memcached和redis中的数据,分析缓存数据大小
- 【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
- Visual Source Safe连接数据文件图解 解决密码缓存问题
- ajax 导出文件( Excel, txt 等) 问题分析
- Mysql5.6版本导出sql文件数据导入到5.7版本出现的问题解决方法
- 【项目分析】利用J#类库解决项目中数据压缩以及解压的问题
- Memcache,Redis,MongoDB(数据缓存系统)方案对比与分析
- FTP压缩文件上传到HDFS大小不一致的问题说明(FTP传输模式)
- Redis缓存穿透、缓存雪崩、redis并发问题分析
- asp.net<Web版> ---GridView 数据导出到excel表,系列问题<一>---导出的Excel文件格式与文件扩展名指定的格式不一致
- 解决sqlite删除数据后,文件大小不变问题(VACUUM)
- Memcache,Redis,MongoDB(数据缓存系统)方案对比与分析
- mysql数据导入到redis,redis数据导出到文件备份
- oracle 表数据 导入导出.DMP文件 及 常见问题
- csv文件导出数据缺失问题
- Redis 缓存穿透、缓存雪崩、热点Key问题分析和解决方案
- ES索引文件和数据文件大小对比——splunk索引文件大小远小于ES,数据文件的压缩比也较ES更低,有趣的现象:ES数据文件zip压缩后大小和splunk的数据文件相当!词典文件tim/tip+倒排doc/pos和cfs文件是索引的大头
- 数据库中导出CSV文件与EXCEL文件数据对比可能遇到的问题与解决方法
- 每日学习心得:Linq解决DataTable按照某一列的值排序问题/DataTable 导出CSV文件/巧用text-overflow解决数据绑定列数据展示过长问题
- 高性能Web服务器Nginx的配置与部署研究(12)应用模块之Memcached做文件缓存时压缩引起的问题