记录采用cloudera-manager安装CDH集群的过程

本文主要记录了安装CDH5.6的安装过程。

本次安装是在VM虚拟机中安装，下面介绍下本次安装的软件环境

由于Cloudera-manager安装是对内存的要求比较高，没办法达到官网的要求。所以这次安装的Hadoop组件为HDFS、YARN、spark。

本次安装的系统环境为contes6.5。

在安装cloudera-manager之前，请先做好安装之前的准备工作。

1、配置好每台机器的网络，关闭防火墙，先检查系统的防火墙情况，开启的话就关闭。



上图表示的是防火墙开启，使用off命令关闭.



2、关闭/etc/selinux/conf



将图中的值修改为disabled.

3、每台机器配置映射

在/etc/hosts/文件中添加每个节点的映射。

4、配置每台机器的免登陆。

ssh-keygen-trsa一路回车。

使用命令 ssh-copy-id主机名将秘钥拷贝到指定的主机中。

5、修改swappiness的值，CDH安装的时候会检查主机的swappiness的值。一般设置为10，默认为60

在/etc/sysctl.conf 中添加一行 vm.swappiness=10。重启生效。(每个节点)

6、配置ntp服务器，保证集群的时间同步。具体可以参考本人另一篇博客http://blog.csdn.net/wsnbbdmm/article/details/77822031

7、安装JDK(在每个节点上都安装)

本次采用的jdk的版本是1.8，将安装包上传到linux服务器中，将安装包解压到自定义目录，本次解压路径为/usr/java

tar-zxvf安装包-C/path解压完成后在/etc/profile下边配置环境变量





配置完成后使用source/etc/profile命令刷新下配置文件。

8、安装mysql数据库，用来保存Cloudera-manager的元数据信息。详细安装教程可以参考本人博客 http://blog.csdn.net/wsnbbdmm/article/details/77148799。

   然后在数据库中创建所需要的数据库。

createdatabasehiveDEFAULTCHARSETutf8COLLATEutf8_general_ci;

createdatabaseamonDEFAULTCHARSETutf8COLLATEutf8_general_ci;

create[code]databasehue

DEFAULT

CHARSETutf8COLLATEutf8_general_ci;

create[code]database

reports

DEFAULT

CHARSETutf8COLLATEutf8_general_ci;

create[code]database

navigatoraudit

DEFAULT

CHARSETutf8COLLATEutf8_general_ci;

create[code]database

navigatormetadata

DEFAULT

CHARSETutf8COLLATEutf8_general_ci;

给用户授权

 grantallprivilegeson*.*to'root'@'%'identifiedby'beicaiHADOOP';

 flushprivileges;刷新权限



到此，如果是第一次安装的话，在环境提前设置好了以后，在此处拍张快照。因为安装失败后直接从快照中恢复，避免删除失效文件和删错文件。

9、安装cloudera-manager

将cloudera-manager的tar包分发到其他节点，并且都解压。

将cloudera-manager的tar包解压到/opt的跟目录下边。



产生两个文件夹。

10、修改cloudera-manager的agent的配置文件

4000
bW0=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center"border="0">



修改完成后将配置文件分发到其他节点.


11、在每个节点上创建cloudera-manger的用户。

useradd--system--home=/opt/cm-5.6.0/run/cloudera-scm-server/--no-create-home--shell=/bin/false--comment"ClouderaSCMUser"cloudera-scm

12、执行sh脚本为clouderamanager创建数据库。

首先得将mysql的驱动包拷贝到cloudera的lib文件下，否则会报找不到驱动的错误。



拷贝完成后执行脚本，创建数据库。

/opt/cm-5.6.0/share/cmf/schema/scm_prepare_database.shmysql-hlocalhost-uroot-proot--scm-hostlocalhostscmrootroot





创建好数据库以后将CDH的安装包拷贝到Cloudera-manager的解压目录下。需要将sha1结尾的文件从命名下。



13、数据库创建好了，就可以启动cloudera-manager的server了。在启动后短时间内不要继续操作，因为server启动后会在scm数据库中创建相对应的表。



启动成功，查看数据库中是否有创建的表.



然后在每个节点上依次启动agent服务。



致此，安装cloudera-manager安装完成。接下来就安装CDH。

14、cloudera-manager的服务端启动后，在浏览器中输入IP+端口 进行访问登录.端口号为。7180,

登录后输入用户名和密码，都是admin 



依次按照提示进行：





选择好主机以后，就可以按照提示来进行安装了，傻瓜式安装。