您的位置:首页 > 大数据

CM+CDH构建企业大数据平台系列(十四)

2018-04-02 10:43 323 查看

完整视频+图文资料获取及技术答疑请加:大讲台大数据研习社⑦ :695520445

                            Cloudera Manager架构原理及安装方式选择

Cloudera Manager的安装部署

    首先我们需要安装CM,在安装之前我们先来简单了解一下CM Server的安装方式和架构原理。  一、Cloudera Manager的安装方式         Cloudera Manager的安装主要是针对 CM Server和CM Agent。其他诸如 Service Monitor、Host Monitor 等这些服务是在安装 CDH 的时候一并安装的。         CM的安装方式主要有三种:        1、通过 Cloudera 公司提供的 bin 文件来安装         这种方式只能用来安装 CM Server,节点机器上的 Agent 只能再另外通过CM Server 的 Web 界面安装等其他方式来安装。 采用 bin 文件的安装方式本质上也是用 yum 来安装的,主要是会安装 CM Server、JDK、Deamons Tools、PostgreSQL,并且会自动帮忙配置好,这还是比较方便的,这一点从 CM 的 yum 源就能看出来。        2、通过 yum 来安装         这种方式对比第一种来说其实就是将其中的bin文件安装步骤拆分出来,并且可以弃用默认提供的 PostgreSQL ,然后自己选择一个数据库,如果选择的是 MySQL,还需要再提供额外的 JDBC 库、JDK 等。        3、通过 tar 文件来离线安装         其实就是将一个已有的 tar 包解压缩,修改下配置,然后起服务。对比上面两种方式的优点是: 完全离线 一切自己定制,包括 JDK、数据库、文件路径,由于 yum 方式安装最终的程序是放在 ROOT 分区下的,日志也是打在 ROOT 分区下,所以有将 ROOT 分区打满的危险         通过前边的分析,为了简单方便,CM Server的安装我们选择通过Cloudera 公司提供的 bin 文件来安装。为了提高安装的速度及可靠性,我们可以通过配置一个本地 yum 源来实现,各个节点机器上的 Agent 的安装通过CM Server 的 Web 界面的方式来安装。 所以说接下来我们的任务就是先配置本地yum源,然后安装CM Server,最后通过CM Server 的 Web 界面来实现CDH核心组件的安装。最终完成用CM+CDH的方式构建企业级大数据平台。 后面分别介绍 CM Server 及 CM Agent 安装的具体方法:  二、Cloudera Manager 的架构原理         Cloudera Manager 的架构如下图所示:

         主要由如下几部分组成:         1、服务端Server : Cloudera Manager 的核心。主要用于管理 web server 和应用逻辑。它用于安装软件,配置,开始 和停止服务,以及管理服务运行的集群。         2、代理agent :安装在每台主机上。它负责启动和停止的进程,部署配置,触发安装和监控主机。         3、数据库Database :存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如,所 述的 Cloudera 管理器服务和监视后台程序使用不同的逻辑数据库。         4、Cloudera Repository :用于软件分发由 Cloudera 软件仓库。         5、客户端Clients :提供了一个与 Server 交互的接口 : 管理平台 /Admin Console :提供一个管理员管理集群和 Cloudera Manage 的基于网页的交互界面。 API :为开发者提供了创造自定义 Cloudera Manager 程序的 API。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息