Oozie安装及安装过程中存在的问题
2014-08-29 01:31
232 查看
1. 从网上下载oozie安装包,下载路径为http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.0.1.tar.gz,上传文件到服务器,例如上传到/home/hadoop/local目录下
2. 进入/home/hadoop/local目录,运行 tar
oozie-4.0.0-cdh5.0.1.tar.gz命令,解压文件
3. 进入oozie程序根目录下的bin目录,依次运行以下命令:
./addtowar.sh -inputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie.war -outputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-server/webapps/oozie.war -hadoop 2.3.0 ${HADOOP_HOME} -extjs /home/hadoop/local/oozie-4.0.0-cdh5.0.1/ext-2.2.zip
./ooziedb.sh create -sqlfile oozie.sql
./oozie-setup.sh db create -run –sqlfile /home/hadoop/local/oozie-4.0.0-cdh5.0.1/bin/oozie.sql
./oozie-setup.sh sharelib create -fs hdfs://master:8020 -locallib /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-sharelib-4.0.0-cdh5.0.1-yarn.tar.gz
4. 进oozie程序根目录下的conf目录,修改oozie-site.xml文件,主要是两个属性需要修改,1)oozie.services属性,将oozie.services属性值中org.apache.oozie.service.JobsConcurrencyService类的次序调致第一个。
2) oozie.service.HadoopAccessorService.hadoop.configurations 属性,将其值调整为 *=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop
5.进入bin目录下,执行./oozie-start.sh 致些,oozie启动成功
6.安装的过程中主要的问题在于sharelib包无法加载的问题,这个问题的处理方法如下:
1)检测sharelib包是否已经加入到hadoop文件系统中,执行hadoop
fs –ls /user/Hadoop/share/lib 查看sharelib包是否存在
2)检查 oozie 与 Hadoop 的对接配置是否正确,主要是检查上面第四步中的oozie.service.HadoopAccessorService.hadoop.configurations 属性,其值为 *=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop,其值所指向的目录是否是hadoop的配置文件目录,如果没有配置正常,则会报/user/Hadoop/share/lib文件找不到错误
3)检查oozie.services属性是否确置正常,主要是org.apache.oozie.service.JobsConcurrencyService类的次序是否已调致第一个,如果没有,则会报在oozie的后台目录中会报NullPointerException错误。
7.修改/etc/hadoop/mapred-site.xml 增加以下内容
yarn.app.mapreduce.am.staging-dir
/user
/etc/hadoop/yarn-site.xml
将配置注释掉
8. 在hdfs上创建/user/history
2. 进入/home/hadoop/local目录,运行 tar
oozie-4.0.0-cdh5.0.1.tar.gz命令,解压文件
3. 进入oozie程序根目录下的bin目录,依次运行以下命令:
./addtowar.sh -inputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie.war -outputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-server/webapps/oozie.war -hadoop 2.3.0 ${HADOOP_HOME} -extjs /home/hadoop/local/oozie-4.0.0-cdh5.0.1/ext-2.2.zip
./ooziedb.sh create -sqlfile oozie.sql
./oozie-setup.sh db create -run –sqlfile /home/hadoop/local/oozie-4.0.0-cdh5.0.1/bin/oozie.sql
./oozie-setup.sh sharelib create -fs hdfs://master:8020 -locallib /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-sharelib-4.0.0-cdh5.0.1-yarn.tar.gz
4. 进oozie程序根目录下的conf目录,修改oozie-site.xml文件,主要是两个属性需要修改,1)oozie.services属性,将oozie.services属性值中org.apache.oozie.service.JobsConcurrencyService类的次序调致第一个。
2) oozie.service.HadoopAccessorService.hadoop.configurations 属性,将其值调整为 *=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop
5.进入bin目录下,执行./oozie-start.sh 致些,oozie启动成功
6.安装的过程中主要的问题在于sharelib包无法加载的问题,这个问题的处理方法如下:
1)检测sharelib包是否已经加入到hadoop文件系统中,执行hadoop
fs –ls /user/Hadoop/share/lib 查看sharelib包是否存在
2)检查 oozie 与 Hadoop 的对接配置是否正确,主要是检查上面第四步中的oozie.service.HadoopAccessorService.hadoop.configurations 属性,其值为 *=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop,其值所指向的目录是否是hadoop的配置文件目录,如果没有配置正常,则会报/user/Hadoop/share/lib文件找不到错误
3)检查oozie.services属性是否确置正常,主要是org.apache.oozie.service.JobsConcurrencyService类的次序是否已调致第一个,如果没有,则会报在oozie的后台目录中会报NullPointerException错误。
7.修改/etc/hadoop/mapred-site.xml 增加以下内容
yarn.app.mapreduce.am.staging-dir
/user
/etc/hadoop/yarn-site.xml
将配置注释掉
8. 在hdfs上创建/user/history
相关文章推荐
- Libnids安装过程以及存在的问题
- ArcIMS安装过程中存在的问题
- nagios安装过程可能存在的问题
- SQL server安装过程中可能遇到的问题
- 。NET在安装过程中的一个问题
- 一网打尽 .Net 开发过程中安装、调试的常见问题与错误!
- 一次msmq安装问题的解决过程
- Microsoft SQL Server Desktop Engine安装过程中遇到的问题(2)
- 关于SAP安装过程中的几个问题的TCODE
- [转载]补丁安装过程中常见问题
- Microsoft SQL Server Desktop Engine安装过程中遇到的问题(1)
- 关于SAP安装过程中的几个问题的TCODE
- SPS :SPS 2003 安装过程中的语言版本问题。
- msmq安装问题的解决过程
- 安装matlab中存在的问题
- python mysql驱动安装过程中遇到的问题
- Microsoft SQL Server Desktop Engine安装过程中遇到的问题(2)
- 关于安装过程中显示乱码的问题。
- sqlserver2000在安装过程中常遇到的问题
- SqlServer安装过程的挂起问题的解决方案