【解决】hive动态增加partitions不能超过100的问题
2015-07-20 11:16
204 查看
Author: kwu
【解决】hive动态增加partitions不能超过100的问题,全量动态生成partitions超过100会出现如下异常:
解决100限制,可设置如下参数:
设置动态partitions为100000,该语句插入几年按天的partitions超过1000个,成功执行语句。
【解决】hive动态增加partitions不能超过100的问题,全量动态生成partitions超过100会出现如下异常:
The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100
解决100限制,可设置如下参数:
set hive.exec.dynamic.partition.mode=nonstrict; SET hive.exec.max.dynamic.partitions=100000; SET hive.exec.max.dynamic.partitions.pernode=100000; insert overwrite table ods.cms_entity PARTITION (DAY) select ENTITY_ID , ENTITY_NAME , ENTITY_DESC , ENTITY_TYPE , ENTITY_PID , ENTITY_TIME , ENTITY_PRIORITY , ENTITY_STATUS , ENTITY_CHANNEL , ENTITY_EDITOR , ENTITY_TEMPLATE , ENTITY_URL , ENTITY_CATEGORY , ENTITY_PARAM , ENTITY_SHORTNAME , ENTITY_SUBTYPE , ENTITY_COMPDELAY , day from stage.cms_entity_by_day;
设置动态partitions为100000,该语句插入几年按天的partitions超过1000个,成功执行语句。
相关文章推荐
- MVC-CodeFirst(一)
- android完整项目
- UVA11729 Commando War
- Google Interview - Compress String to i18n
- VMware软件安装问题
- 实例讲解httpd虚拟主机的配置以及https的配置
- attrs中属性的format
- iOS设计模式-外观
- JSPatch – 动态更新iOS APP
- handsontable-cell type
- GRE写作必备句型
- 详解PHP错误日志的获取方法
- selenium+testng实现简单的ui自动化测试
- Pearson,Kendall和Spearman三种相关分析方法的异同
- litepal ORM框架
- nil,Nil,Null区别
- eclipse中打开含有汉字的properties文件显示乱码
- Android http请求代码
- 在tomcat中添加类型如xls的文件以支持直接在url中打开
- Cell Mode模式——debug利器