linux(centos)下搭建Storm(0.8.1)集群(很长,但很详细!!!)
2017-05-21 10:19
330 查看
linux(centos)下搭建Storm(0.8.1)集群(很长,但很详细!!!)
安装步骤如下:
1.搭建Zookeeper集群;
2.安装Storm依赖库(ZeroMQ、JZMQ);
3.下载并解压Storm发布版;
4.修改storm.yaml配置文件;
5.启动各台机器上的Storm各个后台进程;
注意:在每台机器上都要安装如下软件!!!
一、搭建Zookeeper集群
(安装Zookeeper之前确保已安装JDK,并配置JAVA_HOME,可使用 echo $JAVA_HOME查看)
1.下载Zookeeper,官方下载链接为http://hadoop.apache.org/zookeeper/releases.html,并解压至
/opt/zookeeper目录下。
2.在 /opt/zookeeper/conf 目录下创建配置文件 zoo.cfg,内容如下:
tickTime=2000
dataDir=/opt/zookeeper/data/ #zookeeper数据文件存放目录
clientPort=2181 #zookeeper通信端口
initLimit=5
syncLimit=2
server.1=zoo1:2888:3888 #zoo1是主机1的hostname,zoo2...zoo3...
server.2=zoo2:2888:3888 #2888 是连接leader的端口, 3888是leader选举的端口
server.3=zoo3:2888:3888
3.在各主机的上述 dataDir目录下创建myid文件,文件内容只包含server.id(如:server.1)中对应的id编号;
4.在各主机上启动zookeeper服务,进入 /opt/zookeeper/bin/,运行 zkServer.sh start;
5.测试Zookeeper是否正确安装,命令如下:
zkCli.sh -server zoo1:2181
zkCli.sh -server zoo1:2181
zkCli.sh -server zoo1:2181
二、安装Storm依赖库
按下来要在Nimbus和Supervisor机器上安装Storm的依赖库,具体步骤:
注意:不保证使用其他版本能正常运行Storm,Storm测试的依赖库版本如下:
zeromq-2.1.7 jdk 1.6 python 2.6.6
1.安装ZMQ,命令如下
cd /opt
wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
make
make install
如果我没有预料错的话,你一定不会一帆风顺,可能会遇到如下错误
1.1 缺少 uuid-devel 库
configure: error: cannot link with -luuid, install uuid-dev.
这时你需要运行:
yum install uuid.x86_64
yum install libuuid.x86_64
yum install libuuid-devel.x86_64
1.2 Insufficient space in download directory /var/cache/yum/x86_64/6/base/packages(磁盘空间不足)
原因:
你的磁盘已经满了,不信使用 df -h 查看,使用情况是 100%
解决方法:
a.手动删除一些日志文件
b.试一下 yum clean all ,清空 yum 缓存。
Attention:如果还没有安装成功,要注意查看命令打印出的错误信息。
三、安装JZMQ
如果我没有猜错的话,你可能没有安装 git 依赖包,安装命令如下:
yum install git.x86_64
接着运行:
cd /opt
git clone https://github.com/nathanmarz/jzmq.git cd jzmq
./autogen.sh
./configure
make
make install
当然,这一步你也不一定能顺利进行,可能会遇到如下依赖包缺少错误:
a.autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
解决方法:
yum install libtool.x86_64
四、安装Python2.6.6
cd /opt
wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2
tar –jxvf Python-2.6.6.tar.bz2
cd Python-2.6.6
./configure
make
make install
测试是否成功:
python -V
打印:Python 2.6.6
五、安装 unzip
yum install unzip
六、下载并解压Storm 0.8.1
cd /opt
mkdir storm
cd /storm
wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip unzip storm-0.8.1.zip
接下来进行配置了
cd /opt/storm/conf
vi storm.yaml
修改后的内容如下(注意:请将如下代码原封不动的拷过去,然后再修改,不要删除内容中的任何空格,否则启动时会报解析错误):
########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "zoo1"
- "zoo2"
- "zoo3"
storm.zookeeper.port: 2181 #上述配置的zookeeper端口
storm.local.dir: "/opt/storm/workdir" #请自行创建该目录
storm.local.mode.zmq: true
nimbus.host: "zoo1" #nimbus主机,等同于hadoop中的master
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
ui.port: 8888 #storm UI 端口,默认为8080
七、启动Storm集群
在 zoo1 上运行:
cd /opt/storm/bin
storm nimbus
另起一个窗口
storm supervisor
再起一个窗口
storm ui
在 zoo2,zoo3上运行:
cd /opt/storm/bin
storm supervisor
此时访问 http://zoo1:8888/ 就可以看到Storm UI 的界面了。
如果不出意外,你还会看到这个错误:
eternal Server Error
org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection refused
at org.apache.thrift7.transport.TSocket.open(TSocket.java:183)
at org.apache.thrift7.transport.TFramedTransport.open(TFramedTransport.java:81)
at backtype.storm.thrift$nimbus_client_and_conn.invoke(thrift.clj:56)
解决方法:
需要在客户端机器(zoo1,zoo2,zoo3)上配置 ~/.storm/storm.yaml
命令如下:
cd /opt/storm
mkdir ~/.storm
cp ../conf/storm.yaml ~/.storm/storm.yaml
再重新启动Storm集群,你就可以看到可爱的Storm UI 界面了。
当然,如果仍然没有看到,请检查 /opt/storm/logs文件中的详细信息。
安装步骤如下:
1.搭建Zookeeper集群;
2.安装Storm依赖库(ZeroMQ、JZMQ);
3.下载并解压Storm发布版;
4.修改storm.yaml配置文件;
5.启动各台机器上的Storm各个后台进程;
注意:在每台机器上都要安装如下软件!!!
一、搭建Zookeeper集群
(安装Zookeeper之前确保已安装JDK,并配置JAVA_HOME,可使用 echo $JAVA_HOME查看)
1.下载Zookeeper,官方下载链接为http://hadoop.apache.org/zookeeper/releases.html,并解压至
/opt/zookeeper目录下。
2.在 /opt/zookeeper/conf 目录下创建配置文件 zoo.cfg,内容如下:
tickTime=2000
dataDir=/opt/zookeeper/data/ #zookeeper数据文件存放目录
clientPort=2181 #zookeeper通信端口
initLimit=5
syncLimit=2
server.1=zoo1:2888:3888 #zoo1是主机1的hostname,zoo2...zoo3...
server.2=zoo2:2888:3888 #2888 是连接leader的端口, 3888是leader选举的端口
server.3=zoo3:2888:3888
3.在各主机的上述 dataDir目录下创建myid文件,文件内容只包含server.id(如:server.1)中对应的id编号;
4.在各主机上启动zookeeper服务,进入 /opt/zookeeper/bin/,运行 zkServer.sh start;
5.测试Zookeeper是否正确安装,命令如下:
zkCli.sh -server zoo1:2181
zkCli.sh -server zoo1:2181
zkCli.sh -server zoo1:2181
二、安装Storm依赖库
按下来要在Nimbus和Supervisor机器上安装Storm的依赖库,具体步骤:
注意:不保证使用其他版本能正常运行Storm,Storm测试的依赖库版本如下:
zeromq-2.1.7 jdk 1.6 python 2.6.6
1.安装ZMQ,命令如下
cd /opt
wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
make
make install
如果我没有预料错的话,你一定不会一帆风顺,可能会遇到如下错误
1.1 缺少 uuid-devel 库
configure: error: cannot link with -luuid, install uuid-dev.
这时你需要运行:
yum install uuid.x86_64
yum install libuuid.x86_64
yum install libuuid-devel.x86_64
1.2 Insufficient space in download directory /var/cache/yum/x86_64/6/base/packages(磁盘空间不足)
原因:
你的磁盘已经满了,不信使用 df -h 查看,使用情况是 100%
解决方法:
a.手动删除一些日志文件
b.试一下 yum clean all ,清空 yum 缓存。
Attention:如果还没有安装成功,要注意查看命令打印出的错误信息。
三、安装JZMQ
如果我没有猜错的话,你可能没有安装 git 依赖包,安装命令如下:
yum install git.x86_64
接着运行:
cd /opt
git clone https://github.com/nathanmarz/jzmq.git cd jzmq
./autogen.sh
./configure
make
make install
当然,这一步你也不一定能顺利进行,可能会遇到如下依赖包缺少错误:
a.autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
解决方法:
yum install libtool.x86_64
四、安装Python2.6.6
cd /opt
wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2
tar –jxvf Python-2.6.6.tar.bz2
cd Python-2.6.6
./configure
make
make install
测试是否成功:
python -V
打印:Python 2.6.6
五、安装 unzip
yum install unzip
六、下载并解压Storm 0.8.1
cd /opt
mkdir storm
cd /storm
wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip unzip storm-0.8.1.zip
接下来进行配置了
cd /opt/storm/conf
vi storm.yaml
修改后的内容如下(注意:请将如下代码原封不动的拷过去,然后再修改,不要删除内容中的任何空格,否则启动时会报解析错误):
########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "zoo1"
- "zoo2"
- "zoo3"
storm.zookeeper.port: 2181 #上述配置的zookeeper端口
storm.local.dir: "/opt/storm/workdir" #请自行创建该目录
storm.local.mode.zmq: true
nimbus.host: "zoo1" #nimbus主机,等同于hadoop中的master
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
ui.port: 8888 #storm UI 端口,默认为8080
七、启动Storm集群
在 zoo1 上运行:
cd /opt/storm/bin
storm nimbus
另起一个窗口
storm supervisor
再起一个窗口
storm ui
在 zoo2,zoo3上运行:
cd /opt/storm/bin
storm supervisor
此时访问 http://zoo1:8888/ 就可以看到Storm UI 的界面了。
如果不出意外,你还会看到这个错误:
eternal Server Error
org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection refused
at org.apache.thrift7.transport.TSocket.open(TSocket.java:183)
at org.apache.thrift7.transport.TFramedTransport.open(TFramedTransport.java:81)
at backtype.storm.thrift$nimbus_client_and_conn.invoke(thrift.clj:56)
解决方法:
需要在客户端机器(zoo1,zoo2,zoo3)上配置 ~/.storm/storm.yaml
命令如下:
cd /opt/storm
mkdir ~/.storm
cp ../conf/storm.yaml ~/.storm/storm.yaml
再重新启动Storm集群,你就可以看到可爱的Storm UI 界面了。
当然,如果仍然没有看到,请检查 /opt/storm/logs文件中的详细信息。
相关文章推荐
- CentOS_Linux搭建ftp服务器详细教程
- centos下hadoop2.6.0集群搭建详细过程
- Linux下Hadoop2.7.1集群环境的搭建(超详细版)
- Linux下Hadoop2.7.1集群环境的搭建(超详细版)
- Linux搭建lamp(Apache+PHP+Mysql环境)centos7.2版详细教程
- 虚拟机下32位CentOs版本的linux下hadoop2.4.1集群搭建(3个节点版本)
- Hadoop完全分布式集群搭建手记(CentOS6.7+Hadoop2.6手把手胸贴胸详细版)
- CentOS7环境下搭建storm集群
- Linux下Hadoop2.7.1集群环境的搭建(超详细版)
- linux下storm集群搭建
- Centos 下Storm集群的搭建及Java客户端环境
- 入门级Hadoop集群搭建详细教程(二):Linux常用命令之文件操作
- CentOS搭建Hadoop分布式集群详细步骤和常见问题解决
- Linux下Hadoop2.7.1集群环境的搭建(超详细版)
- 在CentOS上搭建Storm集群
- centos下hadoop2.6.0集群搭建详细过程
- (一) Linux Centos7下SVN服务器搭建详细教程
- 入门级Hadoop集群搭建详细教程(一):Linux虚拟机的创建
- 超详细图文教程 virtualbox centos6.5 虚拟机分布式集群环境搭建
- mongodb集群搭建(Linux Centos6.4版本)