我就是这样安装大数据CDH的_____马小纪&
最近工作比较清闲
整理一套CDH的安装集锦
欢迎大家共同学习交流
零:准备
JDK https://download.csdn.net/download/cand_yh/10375789
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel http://archive.cloudera.com/cdh5/parcels/5.8.0/CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel
sha http://archive.cloudera.com/cdh5/parcels/5.8.0/CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
manifest.json http://archive.cloudera.com/cdh5/parcels/5.8.0/
cm http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz
一:基础配置
1、网络配置
vi /etc/sysconfig/network-scripts/ifcfg-eth0
vi /etc/hosts
– 2、SSH免密钥登录
ssh-keygen big1
yum -y install openssh-clients
ssh-copy-id big1
– 3、防火墙关闭
service iptables stop
chkconfig iptables off
– 4、SELINUX关闭
setenforce 0
vi /etc/selinux/config (SELINUX=disabled)
5、安装JDK配置环境变量
/usr/java
– 6、安装NTP
yum install ntp -y
• 设置开机启动
chkconfig ntpd on
• 设置时间同步
ntpdate -u ntp.sjtu.edu.cn
– 7、centos6 安装配置mysql
sudo yum install mysql-server
sudo /sbin/chkconfig --levels 235 mysqld on
sudo service mysqld start
sudo mysql_secure_installation
登录mysql
mysql -uroot -p123456
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;
– 8、下载第三方依赖包
yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y
CM安装
– 1、安装Cloudera Manager Server、Agent
mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
在这里把mysql-connector-java.jar放到cmf的lib里面去
cp /usr/java/jdk1.7.0_80/lib/mysql-connector-java-5.1.0-bin.jar /opt/cloudera-manager/cm-5.1.3/share/cmf/lib
– 2、创建用户cloudera-scm
useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --
no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
– 3、配置CM Agent
• 修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中
server_host以及server_port
4、配置CM Server数据库
• 拷贝mysql jar文件到目录 /usr/share/java/
• 注意jar包名称要修改为mysql-connector-java.jar
初始化数据库
/opt/cloudera-manager/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cdh -h shizhan1 -uroot -p123456 --scm-host shizhan1 scm scm scm
• 格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
drop user 'temp'@'%';(这一步可以不做)
– 5、创建Parcel目录
• Server节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
• Agent节点
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
– 6、制作CDH本地源
• 下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json,将这两个文件放到server节点的
/opt/cloudera/parcel-repo下。
• 打开manifest.json文件,里面是json格式的配置,找到与下载版本相对应的hash码,新建文件,文件名与你的
parel包名一致,并加上.sha后缀,将hash码复制到文件中保存。
解决虚拟内存的问题
echo 0 > /proc/sys/vm/swappiness
7、启动CM Server、Agent
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
– Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装
./cloudera-scm-agent start
欢迎您的阅读,本人微信公众号 "欢乐的马小纪"欢迎关注
- Hadoop - 企业级大数据管理平台CDH(安装cloudera-manager)
- CDH 5.7.0 安装文档
- 第5课 YARN 安装以及helloworld (基于centos的CDH)
- 公司的新年礼物,一看就是给像我这样的懒人用的
- CDH离线安装
- Hadoop CDH四种安装方式总结及实例指导
- EFCodeFirst安装失败了可以这样解决
- CDH快速离线安装
- [领域]当Party就是PartyRole会这样
- 安装sqoop-1.4.3-cdh4.5.0遇到找不到Sqoop类的异常
- Hadoop(CDH)分布式集群安装笔记(亲测)
- 我得到了很多,同样我也失去了很多很多,这个世界就是这样的吗?
- CDH的安装和设置
- 离线安装 Cloudera Manager 5.11.1 和 CDH5.11.1 完全教程
- 生意就是这样做成的
- 【解决】安装CDH需关闭SELinux的问题
- WAP应用开发环境就是这样搭建的
- 能力要提高,就需要操作,我认为就是这样,我也这样做
- 你不信吗?就是这么巧。是我在原始资料中亲眼看到的。我上世纪八十年代初在西影改剧本,曾向其他改剧本的朋友们讲过。大家都觉得这样写,不但更真实,而且更出人意外,因而