spark+hadoop+sqoop+hive平台bug解决方法
2014-10-02 22:51
323 查看
bug集锦1. hadoop平台datanode无法启动:原因:由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一,通过查看hadoop/logs中的datanode日志文件查看到此错误。解决方法:1). 修改每台节点上的/dfs/current/version文件中的cluserID的值为当前的值(当前值可以通过hadoop/logs日志文件中的报错获得)。2). 每次format dfs文件系统时,都加上clusterID参数:(此方法没有亲测)
hdfs namenode –format –clusterid YOURID2. hive配置mysql为metastore时,用户权限问题:问题描述:在使用了grant all privileges on *.* to 'username'@'%' with grant option;或者 update user set host='%' where user='username';命令后,仍然出现权限问题。解决方法:
# service myqld stop /*停止mysql服务*/ # usr/bin/mysqld_safe --skip-grant-tables /*启动mysql数据库安全模式*/ /*另开一个控制台*/ # mysql > use mysql; > update user set password=password('newpassword') where user='YOURUSERNAME'; /*可能还要查询一下user表,将一些含有空值的重复用户名记录删除*/3. hive部署启动出错问题描述:http://doudouclever.blog.163.com/blog/static/1751123102013911111513970/提示:
hive Required table missing : "`DBS`" in Catalog "" Schema "
enable ... autocreate ...。解决方法:修改 hive-site.xml最后面的datanucleus.fixedDataStore属性为false。4. hadoop无法启动nodemanager,可能是防火墙没有关闭。5. sqoop 导数据时,连接连接数据库出错,oracle 11+默认对大小写敏感,而sqoop中要求用户名和密码要大写字母,所以可能需要关闭数据库的大小写敏感属性。alter system set sec_case_sensitive_logon=false;
相关文章推荐
- hadoop完全分布式集群+Win Eclipse+Hbase+Hive+Zookeeper+Sqoop+SPARK试验机平台
- 搭建Hive On Spark 编译Hive源码错误解决方法(spark2.1.0,hadoop2.7.2)
- 大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
- 大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
- SQOOP中从mysql导入数据到hive中报错解决方法
- 大数据之Hadoop平台(四)Centos6.5(64bit)Hadoop2.5.1、Zookeeper3.4.6、Hbase0.98.6.1安装使用过程中错误及解决方法
- Sqoop 数据导入多分区Hive解决方法
- hadoop日志分析系统二 第二部分利用hadoop平台进行数据处理 第三种方式 hive+sqoop+zookeeper方式
- Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient错误解决方法
- Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
- 运行spark及hadoop版本不一致解决方法
- 大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop
- sqoop导数类型不支持解决方法:Hive does not support the SQL type for column
- 安装hadoop和hive时候遇到的问题及解决方法
- sqoop 从mysql数据库导入到hive表格错误解决方法
- spark sql 访问hive数据时找不mysql的解决方法
- 搭建hadoop平台时遇到的问题及解决方法
- Hadoop2.6.4、zookeeper3.4.6、HBase1.2.2、Hive1.2.1、sqoop1.99.7、spark1.6.2安装
- Hadoop平台上用Sqoop在Hive和DB2数据库之间传输数据的实践和总结
- 大数据相关书籍(包含Java, Scala, R, Linux, Spark, Hadoop, Hive, Hbase, Sqoop, Flume, Strom)