CDH5离线安装---使用的版本是5.11.1
2017-08-07 17:03
239 查看
linux系统:centos 7
第一步 下载软件
需要下载的软件有下面5个,都已经表明下载地址:
cm5.11.1-centos7.tar.gz 的下载地址:http://archive.cloudera.com/cm5/repo-as-tarball/5.11.1/cm5.11.1-centos7.tar.gz
cloudera-manager-installer.bin 的下载地址:http://archive.cloudera.com/cm5/installer/5.11.1/cloudera-manager-installer.bin
CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel,CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1,manifest.json这三个文件的下载地址为:http://archive.cloudera.com/cdh5/parcels/5.11.1/下面,注意区别(有el7的代表的是centos7的),我们就下载含有el7的文件和manifest.json文件。
第二步 Linux基本配置(所有机器)
四台服务器(192.168.30.130 ----master.lwb.com,192.168.30.131---slave1.lwb.com,192.168.30.132---slave2.lwb.com,192.168.30.133-slave3.lwb.com),192.168.30.130
作为集群的master(包括NameNode和Hmaster),其他作为datanode和regionServer)。
1, 配置hostname
在192.168.30.130上执行:hostnamectl
set-hostname master.lwb.com
在192.168.30.131上执行:hostnamectl
set-hostname slave1.lwb.com
在192.168.30.132上执行:hostnamectl
set-hostname slave2.lwb.com
在192.168.30.133上执行:hostnamectl
set-hostname slave3.lwb.com
2,修改hosts文件(所有机器)
使用:vi
/etc/hosts 打开hosts文件,把下面的内容添加到hosts文件中
192.168.30.130 master.lwb.com
192.168.30.131 slave1.lwb.com
192.168.30.132 slave2.lwb.com
192.168.30.133 slave3.lwb.com
3,关闭防火墙(所有机器):执行这两命令:(1)systemctl
stop firewalld.service (2)systemctl disable firewalld.service
4,关闭selinux(所有机器), vi /etc/selinux/config,配置如下
5,配置ssh(所有机器)
1.在每台机器上面执行(ssh-keygen -t rsa),然后一路enter下去
2.把192.168.30.131,192.168.30.132,192.168.30.133三台服务器下面的/root/.ssh/
id_rsa.pub文件复制到192.168.30.130的/root/.ssh/ 的目录里面。
192.168.30.131 上执行:scp id_rsa.pub root@master.lwb.com:/root/.ssh/ id_rsa.pub.slave1
192.168.30.132 上执行:scp id_rsa.pub root@master.lwb.com:/root/.ssh/ id_rsa.pub.slave2
192.168.30.133 上执行:scp id_rsa.pub root@master.lwb.com:/root/.ssh/ id_rsa.pub.slave3
3,把每个id_rsa.pub都写入authorized_keys,在192.168.30.130上执行下面的命令
cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave1 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave2 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave3 >> /root/.ssh/authorized_keys
6 在192.168.30.130上面上安装httpd : yum install –y httpd 配置开机启动 :systemctl enable httpd.service 启动:systemctl start httpd.service
第三步 配置CDH5.11.1本地源
1,在/var/www/html下创建parcels目录,把刚才下载的CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel,CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1,manifest.json上传到/var/www/html/parcels目录下,
把CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1修改为CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha
访问以下:http://192.168.30.130/parcels
路径,看看是否列出刚才那三个文件的名称。
2,把cm5.11.1-centos7.tar.gz,cloudera-manager-installer.bin文件上传到192.168.30.130服务器上面,
在/var/www/html下创建cm5/redhat/7/x86_64/ 目录
mkdir -p cm5/redhat/7/x86_64/
把cm5.11.1-centos7.tar.gz
解压到 /var/www/html/cm5/redhat/7/x86_64/目录下
访问一下:http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/
能列出文件目录,则安装成功。
3,配置本地yum源
vi /etc/yum.repos.d/cloudera-manager.repo,输入下面的内容:
[cloudera-manager]
name=cloudera-manager
baseurl=http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/
enabled=1
gpgcheck=0
保持退出,注意baseurl就是刚才能访问的那个路径
第四部:安装
1,给cloudera-manager-installer.bin添加执行权限
chmod 777 ./cloudera-manager-installer.bin
执行该文件: ./cloudera-manager-installer.bin 一路的选择next ,yes 安装下去,大概2到5分钟安装完成。
大概在等个2到5分钟(cloudera 服务启动比较慢),在浏览器上输入192.168.30.130:7180 出现下面的界面:
用户名和密码都是:admin
选择:
在这里把四个服务器的IP地址填进去,中间用逗号分开,也可以用刚才配置的hostname,点击搜索就会列出服务器的ip地址和hostname,点击继续
选择存储库,
我们选择使用Parcel,然后选择更多选项,出现如下图
在“远程Parcel存储库URL”中删除只留一个,点击后面的“-”号删除,修改为http://192.168.30.130/parcels(也可以是http://master.lwb.com),结果如下:
点击保存更改后,
然后界面变为这个,注意对比:
选择自定义存储库:输入:http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/ ,也可以是http://master.lwb.com/cm5/redhat/7/x86_64/cm/5.11.1/ (推荐都使用IP地址)
后面的步骤都比较简单,按着提示就可以完成了,有时间再慢慢写出来,时间慢。。。
第一步 下载软件
需要下载的软件有下面5个,都已经表明下载地址:
cm5.11.1-centos7.tar.gz 的下载地址:http://archive.cloudera.com/cm5/repo-as-tarball/5.11.1/cm5.11.1-centos7.tar.gz
cloudera-manager-installer.bin 的下载地址:http://archive.cloudera.com/cm5/installer/5.11.1/cloudera-manager-installer.bin
CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel,CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1,manifest.json这三个文件的下载地址为:http://archive.cloudera.com/cdh5/parcels/5.11.1/下面,注意区别(有el7的代表的是centos7的),我们就下载含有el7的文件和manifest.json文件。
第二步 Linux基本配置(所有机器)
四台服务器(192.168.30.130 ----master.lwb.com,192.168.30.131---slave1.lwb.com,192.168.30.132---slave2.lwb.com,192.168.30.133-slave3.lwb.com),192.168.30.130
作为集群的master(包括NameNode和Hmaster),其他作为datanode和regionServer)。
1, 配置hostname
在192.168.30.130上执行:hostnamectl
set-hostname master.lwb.com
在192.168.30.131上执行:hostnamectl
set-hostname slave1.lwb.com
在192.168.30.132上执行:hostnamectl
set-hostname slave2.lwb.com
在192.168.30.133上执行:hostnamectl
set-hostname slave3.lwb.com
2,修改hosts文件(所有机器)
使用:vi
/etc/hosts 打开hosts文件,把下面的内容添加到hosts文件中
192.168.30.130 master.lwb.com
192.168.30.131 slave1.lwb.com
192.168.30.132 slave2.lwb.com
192.168.30.133 slave3.lwb.com
3,关闭防火墙(所有机器):执行这两命令:(1)systemctl
stop firewalld.service (2)systemctl disable firewalld.service
4,关闭selinux(所有机器), vi /etc/selinux/config,配置如下
5,配置ssh(所有机器)
1.在每台机器上面执行(ssh-keygen -t rsa),然后一路enter下去
2.把192.168.30.131,192.168.30.132,192.168.30.133三台服务器下面的/root/.ssh/
id_rsa.pub文件复制到192.168.30.130的/root/.ssh/ 的目录里面。
192.168.30.131 上执行:scp id_rsa.pub root@master.lwb.com:/root/.ssh/ id_rsa.pub.slave1
192.168.30.132 上执行:scp id_rsa.pub root@master.lwb.com:/root/.ssh/ id_rsa.pub.slave2
192.168.30.133 上执行:scp id_rsa.pub root@master.lwb.com:/root/.ssh/ id_rsa.pub.slave3
3,把每个id_rsa.pub都写入authorized_keys,在192.168.30.130上执行下面的命令
cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave1 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave2 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave3 >> /root/.ssh/authorized_keys
6 在192.168.30.130上面上安装httpd : yum install –y httpd 配置开机启动 :systemctl enable httpd.service 启动:systemctl start httpd.service
第三步 配置CDH5.11.1本地源
1,在/var/www/html下创建parcels目录,把刚才下载的CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel,CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1,manifest.json上传到/var/www/html/parcels目录下,
把CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1修改为CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha
访问以下:http://192.168.30.130/parcels
路径,看看是否列出刚才那三个文件的名称。
2,把cm5.11.1-centos7.tar.gz,cloudera-manager-installer.bin文件上传到192.168.30.130服务器上面,
在/var/www/html下创建cm5/redhat/7/x86_64/ 目录
mkdir -p cm5/redhat/7/x86_64/
把cm5.11.1-centos7.tar.gz
解压到 /var/www/html/cm5/redhat/7/x86_64/目录下
访问一下:http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/
能列出文件目录,则安装成功。
3,配置本地yum源
vi /etc/yum.repos.d/cloudera-manager.repo,输入下面的内容:
[cloudera-manager]
name=cloudera-manager
baseurl=http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/
enabled=1
gpgcheck=0
保持退出,注意baseurl就是刚才能访问的那个路径
第四部:安装
1,给cloudera-manager-installer.bin添加执行权限
chmod 777 ./cloudera-manager-installer.bin
执行该文件: ./cloudera-manager-installer.bin 一路的选择next ,yes 安装下去,大概2到5分钟安装完成。
大概在等个2到5分钟(cloudera 服务启动比较慢),在浏览器上输入192.168.30.130:7180 出现下面的界面:
用户名和密码都是:admin
选择:
在这里把四个服务器的IP地址填进去,中间用逗号分开,也可以用刚才配置的hostname,点击搜索就会列出服务器的ip地址和hostname,点击继续
选择存储库,
我们选择使用Parcel,然后选择更多选项,出现如下图
在“远程Parcel存储库URL”中删除只留一个,点击后面的“-”号删除,修改为http://192.168.30.130/parcels(也可以是http://master.lwb.com),结果如下:
点击保存更改后,
然后界面变为这个,注意对比:
选择自定义存储库:输入:http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/ ,也可以是http://master.lwb.com/cm5/redhat/7/x86_64/cm/5.11.1/ (推荐都使用IP地址)
后面的步骤都比较简单,按着提示就可以完成了,有时间再慢慢写出来,时间慢。。。
相关文章推荐
- cdh5使用cloudera-manager-installer.bin离线安装
- 安装使用离线版本的维基百科(Wikipedia)
- 安装使用离线版本的维基百科(Wikipedia)
- 如何安装 Microsoft Office 兼容包,以便能够使用早期版本的 Excel、PowerPoint 和 Word 来打开和保存来自 2007 Office 程序的文件
- Notes 8 for Linux 本地化版本的安装和使用
- 安装JDK1.6,并使用Eclipse3.2版本,使用范型报错
- 安装和使用Windows Wget版本1.10.2
- 安装了VS2005的beta版本使用了一下
- HOWTO:使用任意版本的 Windows 7光盘 安装任意版本的 Windows 7
- Java 版本问题 为什么安装新版本的 Java 后,使用命令查看返回的结果还是旧版本号?
- 版本控制系统Git安装使用方法
- Eclipse中SVN版本控制插件的安装和使用 (转贴)
- 分布式版本控制系统Mercurial的是安装和使用
- 【技术贴】安装 adobe flash player提示由于现有版本正在使用,因此无法安装Playe
- Eclipse中SVN版本控制插件的安装和使用
- 安装和使用Windows Wget版本1.10.2
- 在安装有VS2008beta2版本的机子上使用vs2005进行部署出现问题的解决方法
- 使用 Microsoft SQL Server 2000 各种版本或组件而必须安装的操作系统
- Eclipse中SVN版本控制插件的安装和使用(转载)
- 提示该盘CD-ROM来自于比您当前使用的windows更旧的版本 该盘上的安装功能已被禁用