sqoop 导入导出数据倾斜问题优化
2017-10-26 13:53
337 查看
导入:
PG => hive :
sqoop import --connect jdbc:postgresql://host:5432/test --username test --password test --table jxl_main_service --hive-import --hive-table jxl_tmp.jxl_main_service --split-by report_id -m 18
由于数据分布不均匀,导致少数MapJob 比较缓慢,使用--split-by 按照字段进行切分,然后-m 提高并行的。
导出:
hive=> PG :
sqoop export -Dorg.apache.sqoop.export.text.dump_data_on_error=true --connect jdbc:postgresql://ip:5432/db --update-mode allowinsert --username db --password 'db' --table comm_identity_location --fields-terminated-by '\001' --export-dir 'hdfs://nm/ods/20170829/tmp/t_iden_procity'
--input-null-string '\\N' --input-null-non-string '\\N' --input-fields-terminated-by '\001'
::导出:
PG => hive :
sqoop import --connect jdbc:postgresql://host:5432/test --username test --password test --table jxl_main_service --hive-import --hive-table jxl_tmp.jxl_main_service --split-by report_id -m 18
由于数据分布不均匀,导致少数MapJob 比较缓慢,使用--split-by 按照字段进行切分,然后-m 提高并行的。
导出:
hive=> PG :
sqoop export -Dorg.apache.sqoop.export.text.dump_data_on_error=true --connect jdbc:postgresql://ip:5432/db --update-mode allowinsert --username db --password 'db' --table comm_identity_location --fields-terminated-by '\001' --export-dir 'hdfs://nm/ods/20170829/tmp/t_iden_procity'
--input-null-string '\\N' --input-null-non-string '\\N' --input-fields-terminated-by '\001'
::导出:
相关文章推荐
- 通过sqoop 实现hdfs与mysql的数据导入导出
- 关于导入导出数据中ID号变化的问题
- PLSQL数据导入导出问题解决
- 用SQLYog导出导入数据所遇到的问题
- Sqoop 数据导入导出实践
- sqoop把oracle数据导入hive出现的问题
- Mysql5.6版本导出sql文件数据导入到5.7版本出现的问题解决方法
- sqoop简单操作-从mysql导入导出数据
- apache sqoop1.99.3+hadoop2.5.2+mysql5.0.7环境构筑以及数据导入导出
- sqoop导入数据到hive中元数据问题
- sqoop 导入数据特殊字符问题
- 数据库SQL Server DAC 导入导出数据到SQL Azure问题
- 利用sqoop将hive数据导入导出数据到mysql
- sqoop1.4.4导出mysql数据到hadoop1.2.1集群出现的问题
- 编码素养问题收集4:MySQL数据导入导出如何证明结果是正确的?
- 大数据基础(二)hadoop, mave, hbase, hive, sqoop在ubuntu 14.04.04下的安装和sqoop与hdfs,hive,mysql导入导出
- Sqoop进行数据导入导出
- 利用sqoop将hive数据导入导出数据到mysql (转)
- oracle 数据导出导入序列不一致问题
- Hadoop入门之Sqoop的安装和数据导入导出