安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节
2016-09-13 09:56
246 查看
目录
前言整体介绍
分步安装介绍
总结
一、前言
周末干了近四十个小时中间只休息了五个小时终于成功安装了ClouderaManager以及分布式集群,其中各种辛酸无以言表,唯有泪两行。总体是安装的很慢,但是其中有很多细节问题,需要记录下来使以后再次安装少走弯路,以及给其他有需要的人提供一点参考。二、整体介绍
整体上可以借鉴之前我写的一篇博客使用Ambari安装hadoop集群。安装共分三步,第一步安装并配置操作系统(本文采用Ubuntu14.04,其他的可以参考相应安装方法);第二步安装ClouderaManager;第三步安装分布式集群。三、分步安装介绍
3.1 安装并配置操作系统
整体配置包括启用root用户等都可以参考上述文章,这里强调一些细节。安装并配置操作系统应该是整个安装过程的核心,能否顺利完成分布式集群安装主要就在这一步,本次仅操作系统就重新安装了5次,已经变成了一个熟练的Ubuntu装机码农。这里面有太多的问题需要考虑,本次之所以折腾这么久,也主要浪费在这上面。根据此次经验我总结一定要注意以下几点:1、首先安装版本的选择,一定要安装ClouderaManager支持的版本,ClouderManager5目前Ubuntu只支持到14.04,其他系统可以查看具体要求。
2、安装过程中时区选择一定要正确并统一,不然会造成时间同步的问题。为了严格时间同步,需要使用apt-get install ntp安装ntp进行时间同步。
3、网络(IP、DNS等)在安装过程中可以先不进行配置,以节约时间,待安装完成后统一配置内网外IP及网关等,同时配置双网卡需要第一块网卡不在/etc/network/interfaces文件中配置gateway,使用route add -net 192.168.1.0/24 gw 192.168.1.1 dev eth1命令设置第一块网卡的路由,也可以将上述语句写到/etc/rc.local文件里,防止每次重启系统都要重新配置路由。
4、用户名密码切记一定不要使用古怪的字符包含下划线中划线等等,密码也不要使用弱密码类型,否则真的可能是会出现各种各样莫名其妙、让人无法查找ERROR的问题。
5、尽量启用系统root用户,否则在配置sudo免密码的时候就会有各种问题,并且在安装ClouderaManager的时候也会出现各种权限问题。
6、每台机器的hosts配置要准确,不然肯定是要出问题的。
7、如果网速不够快,可以将ubuntu的源替换成阿里云。
8、最重要的一点,如果后续步骤一旦安装失败或报错,并且折腾一会之后找不到解决的办法,不要犹豫,马上重装系统,6台机器重装加配置一遍操作系统如果有6个系统盘加KVM的话也就顶多一个小时,但是你要真的去找问题,用上两个小时也不一定能找到问题,只会越来越纠结。
3.2 安装ClouderaManager
首先切换到root用户,然后使用以下命令下载并安装即可:wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin chmod u+x cloudera-manager-installer.bin ./cloudera-manager-installer.bin
这里面倒是没有什么特别需要注意的地方,只需要注意下载相应的版本以及在安装的过程中不要出现关机、断网等情况。
3.3 安装分布式集群
如果前面两步都完成的很好的话这一步应该是很轻松的,本次安装中在最最后看着那一个个轻松飘来的绿色√,真的是喜极而泣、言不成声。但是回首整个过程真的是在安装集群这一步无比辛酸,前两步操作没有注意到的各种细节都会在这里变成一个个无法查找的ERROR,让人痛苦万分。该步需要注意以下细节:1、整个安装过程中使用tail -fn 300 /var/log/cloudera-scm-agent/cloudera-scm-agent.log来监控安装中出现的各种问题,有的时候web ui界面显示成功,可能并不是真的成功了,如果接着往下走肯定是不行。本次安装中就是刚开始没注意,在进行cdh分发以及激活的时候前台界面一直显示的成功,但是后来查看日志发现一直在报无法激活的错误,所以导致后续安装根据就不往下进行,只是简单的提示安装hdfs等出错,根本不给任何错误的信息,就无法发现问题,发现问题是解决问题的第一步,发现不了何谈去解决问题,当然造成无法激活的原因我猜测应该就是3.1中讲述的那些。
2、关于选择单用户还是多用户模式可以根据自己的需要,二者区别并不大,只是多用户会创建hdfs、zookeeper等用户,但是一旦某一种模式安装失败,第二次安装的时候请换另一种模式,不要太执着,否则真的可能是一遍遍的重装仍无法解决问题。
3、选择安装内容的时候可以先选少一点,比如选择自定义模式并只选spark、hdfs、zookeeper、YARN这几个。因为选的越少出现错误的可能性越小,而等这几个分布式的基础软件安装完毕之后,再安装其他的就很容易,不需要再从安装操作系统开始。
4、如果集群安装失败可以重新安装一遍,只需要在管理界面点击添加集群,但是要通过管理界面将ClouderaManager中的Cluster1集群删除(默认叫这个名字,因为虽然安装失败但是集群在ClouderaManager中已经有了),然后将所有节点解除授权并从集群删除,否则无法将这些节点再加入到新创建的集群。
四、总结
失败是安装过程中必然出现的,但是成功是多次失败安装的必然结果。我们要执着又不能太执着——要执着于一次不行两次、两次不行三次,但是又不能执着于不会灵活、不变通,该重装系统就重装系统,该改配置就改配置,该换方案就换方案。最终一定会收获成功。相关文章推荐
- ZooKeeper伪分布式集群安装及使用
- SolrCloud 分布式集群安装部署以及管理
- 分布式架构学习之:FastDFS 集群的安装、配置、使用
- C#实现多级子目录Zip压缩解压实例 NET4.6下的UTC时间转换 [译]ASP.NET Core Web API 中使用Oracle数据库和Dapper看这篇就够了 asp.Net Core免费开源分布式异常日志收集框架Exceptionless安装配置以及简单使用图文教程 asp.net core异步进行新增操作并且需要判断某些字段是否重复的三种解决方案 .NET Core开发日志
- Zookeeper安装使用以及linux上的分布集群搭建
- ZooKeeper伪分布式集群安装及使用
- ElastiSearch 2.1使用java api获取TransportClient连接ES集群、插入文档、进行搜索,以及在线/离线插件安装的方法
- NGINX的原理、安装、配置以及使用tomcat在linux上搭载集群环境
- openTSDB的分布式集群的安装和使用
- asp.Net Core免费开源分布式异常日志收集框架Exceptionless安装配置以及简单使用图文教程
- ZooKeeper伪分布式集群安装及使用
- 大数据_Zookeeper_ZooKeeper伪分布式集群安装及使用
- (转)ZooKeeper伪分布式集群安装及使用
- 走进Redis:Redis的安装、使用以及集群的搭建
- Hadoop在Linux下伪分布式的安装以及wordcount实例的运行还有Eclipse的使用
- ZooKeeper伪分布式集群安装及使用
- hadoop集群安装以及Hive、sqoop的使用
- 详细版在虚拟机安装和使用hadoop分布式集群
- k8s技术预研3--使用kubeadm安装、配置Kubernetes集群以及进行故障排查的方法
- linux下使用expect+scp+shell实现分布式集群系统安装,升级,部署