企业大数据平台三:企业大数据平台安装
2016-07-23 21:17
281 查看
企业大数据平台三:企业大数据平台安装
标签(空格分隔): 企业大数据平台企业大数据平台三企业大数据平台安装
一CM 5x介绍
二CM安装
三添加集群
四问题解决
一,CM 5.x介绍
分布式:
–主节点:Cloudera Manager Server
–从节点:Cloudera Manager Agent
–数据库:PostgreSQl
安装方式:
一:在线安装(联网)–rpm
二:离线安装
—-rpm包,搭建本地源
http://archive.cloudera.com/cm5/redhat/5/x86_64/cm/5.3.6/RPMS/x86_64/
—-tar安装
对于新手,不推荐
对于重要的项目和长久的,推荐
二,CM安装
1,搭建本地yum源–基于http方式–启动http服务
sudo service httpd start
–apache的配置目录:/etc/www/html
cd /var/www/html sudo mkdir cm-5.3.6
–配置http服务
tar -zxf tar -zxf cm5.3.6-centos6.tar.gz sudo cp ./*.rpm /var/www/html/cm-5.3.6/
2,生成repodata文件夹
–安装三个软件
sudo rpm -ivh deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm sudo rpm -ivh python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm sudo rpm -ivh createrepo-0.9.9-18.el6.noarch.rpm
–生成repodata
cd /var/www/html/cm-5.3.6 sudo createrepo .
3,配置使用本地源
cd /etc/yum.repos.d/ mkdir bak mv *.repo bak
sudo touch myrepo.repo sudo vi myrepo.repo ------ [myrepo] name = myrepo baseurl = http://cdh001.cluster.com/cm-5.3.6/ enabled = 1 gpgcheck = 0 ------
4,安装cm需要支持的数据库PostgreSQL
5,安装CM 5.3.6
chmod u+x cloudera-manager-installer.bin ./cloudera-manager-installer.bin --skip_repo_package=1
http://cdh001.cluster.com:7180/cmf/login
6,安装cdh 5.3.6
将parcel安装文件放到/opt/cloudera/parcel-repo目录下
//重新启动cm sudo service cloudera-scm-server status sudo service cloudera-scm-server restart
7,添加主机
–配置parcels和agent源
–安装agent
–从cms下载cdh parcel包
–在每台机器上进行解压安装
--> Finished Dependency Resolution Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) Requires: fuse-libs Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) Requires: redhat-lsb Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) Requires: cyrus-sasl-gssapi Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) Requires: portmap Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) Requires: fuse You could try using --skip-broken to work around the problem You could try running: rpm -Va --nofiles --nodigest END (1) remote package cloudera-manager-agent could not be installed, giving up waiting for rollback request 换为国内源,安装 sudo yum install redhat-lsb -y, sudo yum install -y cyrus-sasl-gssapi portmap,sudo yum install fuse-libs fuse $ vi /etc/yum.repos.d/163.repo #如果没有这个文件,新建一个,切记:$releasever被修改为了6 [base] name=CentOS-$releasever - Base - 163.com baseurl=http://mirrors.163.com/centos/6/os/$basearch/ enabled=1 gpgcheck=0 [updates] name=CentOS-$releasever - Updates - 163.com baseurl=http://mirrors.163.com/centos/6/updates/$basearch/ enabled=1 gpgcheck=0 [extras] name=CentOS-$releasever - Extras - 163.com baseurl=http://mirrors.163.com/centos/6/extras/$basearch/ enabled=1 gpgcheck=0 [root@server2 yum.repos.d]# yum clean all [root@server2 yum.repos.d]# yum makecache #生成缓存 [root@server2 yum.repos.d]# yum install redhat-lsb cyrus-sasl-gssapi portmap fuse-libs fuse -y 至此,CM离线安装已完成! 注意:如果你和我一样是用笔记本虚拟机搭建,可能会出现内存不够,导致CM挂掉情况请重启CM服务,/etc/init.d/cloudera-scm-server start,/etc/init.d/cloudera-scm-agent start,不得不赞叹,cloudera的强大,你启动CM服务后,文件继续断点开始分发!而不用重新开始。
三,添加集群
四,问题解决
一: Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响: bigdata-cdh01.ibeifeng.com sudo sysctl -w vm.swappiness=0 echo "vm.swappiness=0" >> /etc/sysctl.conf
二: 已启用“透明大页面”,它可能会导致重大的性能问题。版本为“CentOS release 6.4 (Final)”且发行版为“2.6.32-358.el6.x86_64”的 Kernel 已将 enabled 设置为“[always] never”,并将 defrag 设置为“[always] never”。请运行“echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此设置,然后将同一命令添加到一个 init 脚本中,如 /etc/rc.local,这样当系统重启时就会予以设置。或者,升级到 RHEL 6.5 或更新版本,它们不存在此错误。将会影响到以下主机: bigdata-cdh01.ibeifeng.com echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
三,解决时间同步问题 1: touch sync_date.sh ---- /sbin/service ntpd stop /usr/sbin/ntpdate cdh.cluster.com /sbin/service ntpd.start ---- 2: crontab -e --------- */10 * * * * /bin/sh /opt/sync_date.sh --------- service crond restart
四,配置java home sudo vi /etc/profile --- export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera export PATH=$PATH:$JAVA_HOME/bin --- source /etc/profile
相关文章推荐
- 企业大数据平台二:企业大数据平台环境准备
- 企业大数据平台一:企业需求及相关的基本组件
- codeforces #300 E. Demiurges Play Again(tree DP)
- HDU 4458 Shoot the Airplane(计算几何or数学)
- HDU 4460 Friend Chains(最短路)
- 大数据Spark “蘑菇云”行动前传第5课:零基础实战Scala函数式编程及Spark源码解析
- rails 做api接口入门说明
- Tree Traversals Again
- POJ1995 Raising Modulo Numbers
- 【bzoj4320】ShangHai2006 Homework
- HDU - 5319 Painter
- [Rails]route.rb理解积累
- 大数据环境搭建
- 使用flash air开发应用
- Cassandra User 问题汇总(1)------------repair
- Cassandra User 问题汇总(1)------------repair
- 01 HDFS 简介
- 【HDU】-1789-Doing Homework again(贪心,好)
- 219. Contains Duplicate II
- NSSearchPathForDirectoriesInDomains用法--转自平静大海