您的位置:首页 > 大数据

KUDU安装

2018-01-29 12:16 239 查看
http://blog.csdn.net/u014728303/article/details/52537753

Kudu是一个比较新的大数据组建,在国内大规模应用的公司并不多,kudu的安装文档也只找到官网上的一份,自己在按照官网的步骤进行安装的过程中也遇到了一些问题,现记录一下完整的安装过程:

Step1,配置Yum的Repository。

使用Yum来安装kudu,但由于kudu还不是Yum的常规组建,直接安装会找不到kudu,所以第一步需要将kudu的repo文件下载并放置到合适的位置。

下载kudu的repo,进入http://kudu.apache.org/docs/installation.html 页面,在下图中找到和自己的操作系统匹配的链接进行下载



将下载成功的cloudera-kudu.repo文件放置到/etc/yum.repos.d/目录下。

Step2,安装kudu

在所有的要安装的节点上执行下列操作:

sudo yum install kudu                      

sudo yum install kudu-master               

sudo yum install kudu-tserver           

sudo yum install kudu-client0         

sudo yum install kudu-client-devel      

Step3,配置master和tserver节点,

安装完成之后,在/etc/kudu/conf目录下有两个文件:master.gflagfile和tserver.gflagfile

master.gflagfile的配置修改为(目录可以根据自己的习惯来制定,但在启动kudu之前一定要事先创建好,否则master无法正常启动)

--fromenv=rpc_bind_addresses

--fromenv=log_dir

--fs_wal_dir=/home/data/kudu/master

--fs_data_dirs=/home/data/kudu/master

tserver.gflagfile修改为:

--fromenv=rpc_bind_addresses

--fromenv=log_dir

--fs_wal_dir=/home/data/kudu/tserver

--fs_data_dirs=/home/data/kudu/tserver

--tserver_master_addrs=hadoop1:7051

注意,这里的--tserver_master_addrs指明了集群中master的地址,指向同一个master的tserver形成了一个kudu集群

可能遇到的问题:

根据官网的介绍,配置完成之后就可以启动kudu了,启动master和tserver的命令分别为:

sudo service kudu-master start

sudo service kudu-tserver start

但启动失败,查看日志发现kudu的启动有一个前提,NTP服务必须启动并处以同步状态。

启动NTP服务的命令为:systemctl start NTP

服务启动后,需要5-10钟来完成同步。判断是否已经完成同步可以使用命令:ntpstat,如果输出为:

synchronised to NTP server (120.25.108.11) at stratum 3

   time correct to within 114 ms

   polling server every 1024 s

表示同步已经完成。

再次启动kudu,还是报错,查看日志,发现是对/home/data/kudu没有操作权限。这个目录是我用root账号创建的,但kudu的启动默认会使用一个叫kudu的用户。执行下列命令来改变目录的所有者:

cd /home/data/kudu

chowm -R kudu:kudu ./*

再次执行启动master(在hadoop1这台服务器上启动)和tserver(在hadoop1,hadoop2,hadoop3这三台服务器上都启动)的命令,终于成功了。

在浏览器上通过http://<_host_name_>:8051 和 http://<_host_name_>:8050 可以分别查看master和tserver的详情
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  大数据