您的位置:首页 > 运维架构 > Linux

linux下安装storm

2015-07-19 16:19 567 查看
storm是进行实时数据的处理,所以会把数据存储在消息队列中的。消息队列把这些中间的消息存在zeromq中,zeromq是用c++写的一个消息队列。所以在安装storm之前先要安装zeromq:号称史上最快的消息队列。

但是storm是运行在jvm上的,所以要和c++的程序进行交互,在它们之间还要安装一个软件:jzmq。

在根目录下建立一个文件夹,用于安装大数据云计算的相关软件 mkdir /cloud

$ tar -cvf file2.tar -C /home/usr2 file2

该命令中的-C dir参数,将tar的工作目录从当前目录改为/home/usr2,将file2文件(不带绝对路径)压缩到file2.tar中。注意:-C dir参数的作用在于改变工作目录,其有效期为该命令中下一次-C dir参数之前。

解压zeromq tar -zxvf zeromq-2.1.gz -C /cloud
cd zeromq
由于zeromq是c++的,所以要进行编译,安装等操作。执行configure命令对编译环境进行检测 ./configure
可能找不到c++编译器 使用yum自动安装可安装的软件 sudo
yum
install
gcc-c++

出现错误:configure: error: cannot link with -luuid, install uuid-dev.需要安装软件包uuid-devel和libuuid-devel
sudo
yum
install
uuid-devel,sudo 
yum
[code]install
libuuid-devel

出现错误:autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.需要安装libtool:

sudo 
yum
[code]install
libtool

回到安装路径下在一次进行编译环境的检测 ./configure

没有了报错,进行编译:make 回车

编译通过后,进行安装 使用: make install进行安装
zeromq就安装完成了。

安装jzmq是java调C++的桥梁。进而和消息队列进行通信。
解压zip的命令: unzip jzmq-2.0 -d /cloud/ 将jzmq解压到指定的目录cloud下
cd /cloud cd jzmq-master
在当前目录下并没有配置文件等可以执行的文件,需要运行 ./autogen.sh (这里需要lib-tool,上面已经安装过)
运行完atuogen.sh后会产生configure这个文件,执行该文件进行编译环境的检测 ./configure
使用make install 编译安装: make install
安装jzmq完成。

安装python
storm的启动脚本是python写的,centos已经安装了,所以不需要再安装了。
查看python的版本 python -V

sotrm进行安装
拷贝在指定目录
将storm的压缩文件进行解压 unzip storm-0.9.zip -d /cloud/
storm是通过jzmq来访问zeromq的
storm的主节点和子节点的协调是通过zk进行完成的。

安装zookeeper
解压zk,tar -zxvf zookeepere-3.4.5 -C /cloud/
配置zk, cd zookeeper
进入zk的配置文件 cd conf
cp zoo_sample.cfg zoo.cfg 把提供的例子配置拷贝一个就可以。
vim zoo,cfg 配置zookeeper的端口,启动的时候占用哪个端口,不需要修改
cd bin 启动zk ./zkserver.sh start zk启动成功了
使用jps可以查看运行的进程

启动storm的主节点
cd storm/conf 配置storm vim storm.yaml
在storm中需要指定zkd的地址,配置server 输入ip 配置nimbus:host :ip :wq
cd bin 启动storm的主节点: ./storm nimbus
jps查看 可以使用监控页面 ./storm ui 然后通过浏览器进行访问

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: