基于Cloudera Manager5.7配置MapReduce与HiveOnSpark压缩
2016-07-15 18:04
232 查看
基于Cloudera Manager5.7配置MapReduce与HiveOnSpark压缩
1、Yarn配置MapReduce的输压缩
1） 输出采用gzip压缩
2）中间结果的计算采用snappy的压缩
2、HiveOnSpark的压缩配置
1） hive结果的输出采用gzip
2） spark中间计算默认采用的是snappy压缩
1、Yarn配置MapReduce的输压缩
1） 输出采用gzip压缩
2）中间结果的计算采用snappy的压缩
2、HiveOnSpark的压缩配置
1） hive结果的输出采用gzip
2） spark中间计算默认采用的是snappy压缩
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- UVA 11732 "strcmp()" Anyone? 前缀树（Trie）+简单搜索
- UNIX信号的阻塞概念
- 一次ora-00600(12406)的解决
- CodeIgniter框架源码笔记(5)——识别多种URI风格：地址解析类URI.php
- json序列化时datetime的处理方法
- 我是一个线程(写的太好了，忍不住转过来)
- 最初的梦
- IBM AppScan 各种测试问题修改方案
- 关于seaborn，关于插值
- SyntaxError: Non-ASCII character '\xef' in file 错误解决
- 关于iOS硬解码的一些感悟
- eclipse软件常见问题——EXCEPTION_ACCESS_VIOLATION (0xc0000005)
- No package 'talloc' found
- web前端常用工具网址
- ｌｉｎｕ日常常用命令小结
- mp4格式解析、分割
- SQL Server 锁机制 悲观锁 乐观锁 实测解析
- UVALive 6884 GREAT + SWERC = PORTO dfs模拟
- nyoj 6 喷水装置
- Linux下项目发布tomcat常用命令操作