通过Ambari2.2.2部署HDP大数据服务
2017-01-13 15:52
549 查看
node1 | amari-server | |
node2 | amari-agent | namenode1,datanode,resourcemanager,zk |
node3 | amari-agent | namenode2,datanode,zk |
1.关闭防火墙和selinux,配置hosts,配置ssh免密码登录,时间同步,安装好jdk和ntp服务并启动
2.安装yum源和相关软件(在线安装很慢,可以把文件下载下来配置本地yum)
cd /etc/yum.repos.d/ wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/ambari.repo yum install ambari-server postgresql-server #node1执行
3.运行ambari-server setup命令设置Ambari
其他默认 设置JDK时候选择3,然后输入jdk的路径 选择数据库类型时候选择1(可根据自己需求安装其他数据库)
3.1启动Amabri
ambari-server start 成功启动后在浏览器输入nod1:8080,用户名和密码admin
3.2安装jdbc驱动
在 ambari-server 上停止 ambari-server 服务,然后在命令行使用
ambari-server setup --jdbc-db=mysql --jdbc-driver=/root/mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar #开始配置 jdbc-driver 连接器
此步操作会完成以下几个步骤:
在server本机,会将目标连接器拷贝到 /usr/lib/ambari-server/resources/ 目录中。
在集群内的所有成员机中,配置连接器信息。
配置完成后,再启动 ambari-server 服务,即可。
4.开始安装大数据
4.1点击上面登录成功页面的Launch Install Wizard 按钮进行集群配置
4.2版本号选择和操作系统
如果是使用本地yum源:
4.3输入节点名称和选择私钥
4.4会自动安装ambari-agent,然后进行注册,这里可能比较慢
如果遇到错误,按照要求排查
4.5选择要安装的服务
4.6服务的master配置和slave配置,可按需修改
4.7服务的客户化配置,可以根据需求修改
HDP配置lzo
yum -y install lzo lzo-devel hadooplzo hadooplzo-native
找到
Advanced core-site项,在
io.compression.codecs的原有value值中添加
com.hadoop.compression.lzo.LzoCodec
找到
Custom core-site项,添加key为
io.compression.codec.lzo.class且值为
com.hadoop.compression.lzo.LzoCodec。
保存配置。 重启集群服务即可。
测试lzo:执行
hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://mycluster/test_lzo lzo
4.8检查配置信息
4.9开始安装
安装各个服务,并且完成安装后会启动相关服务,安装过程比较长,如果中途出现错误,请根据具体提示或者log进行修改
NameNode HA配置
可参考https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_Ambari_Users_Guide/content/_how_to_configure_namenode_high_availability.htmlIn Ambari Web, select
Services > HDFS > Summary.
Select Service Actions and choose Enable NameNode HA
ResourceManager HA配置
可参考 https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_Ambari_Users_Guide/content/_how_to_configure_resourcemanager_high_availability.htmlIn Ambari Web, browse to
Services > YARN > Summary. Select
Service Actionsand choose
Enable ResourceManager HA.
Hbase HA配置
In Ambari Web, browse toServices > HBase.
In Service Actions, select the
+ Add HBase Masteroption.
Choose the host to install the additional HBase Master, then choose Confirm Add.
Hive HA配置
In Ambari Web, browse toServices > Hive.
In Service Actions, select the
+ Add Hive Metastoreoption.
Choose the host to install the additional Hive Metastore, then choose Confirm Add.
Ambari installs the component and reconfigures Hive to handle multiple Hive Metastore instances.
参考:
http://www.jianshu.com/p/6e59df5f2461
http://blog.csdn.net/daiyutage/article/details/52210830
https://my.oschina.net/wstone/blog/521987
http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/
http://www.linuxidc.com/Linux/2014-12/110824.htm
离线安装:
http://www.itweet.cn/2015/08/31/hdp-install/
相关文章推荐
- 大数据平台安装部署文档 Ambari2.4-HDP2.5
- Ambari-Server Rest API处理2(Ambari-Server通过Rest API进行服务安装、部署、操作流程+操作源码分析)
- 通过 Axis2 开发 Web 服务,第 1 部分: 通过 Axis2 运行时部署和使用简单 Web 服务
- 通过 Axis2 开发 Web 服务,第 1 部分: 通过 Axis2 运行时部署和使用简单 Web 服务
- 2013年部署云服务的数据安全问题(转载)
- Android之通过向WebService服务器发送XML数据获取相关服务
- Android之通过向WebService服务器发送XML数据获取相关服务
- 通过web服务传递复杂类型数据的一些尝试和心得(欢迎讨论)
- windows下 WSO2 Application Server配置 及 MySQL数据服务部署
- 如何将表单数据从一页传递到另一个,通过使用 GET 和 POST 活动服务器页中
- WWJ中如何通过WMS服务发布影像及高程数据
- 使用Ambari快速部署Hadoop大数据环境
- 数据仓库自动抽取:通过 SQL Server 企业管理器中的数据转换服务 (DTS) 设计器 创建 Analysis Services 处理任务
- 通过 Axis2 开发 Web 服务,第 1 部分: 通过 Axis2 运行时部署和使用简单 Web 服务
- Dataset数据通过Web服务进行输出数据绑定
- windows下 WSO2 Application Server配置 及 MySQL数据服务部署
- RFID应用系统通过Web服务传输数据的研究
- 数据仓库自动抽取:通过 SQL Server 企业管理器中的数据转换服务 (DTS) 设计器 创建 Analysis Services 处理任务
- 微软SQLServer官方示例项目部署-数据引擎和分析服务部分
- oracle数据库挂掉,通过服务无法启动数据后的手动方式