linux下安装storm
2015-07-19 16:19
567 查看
storm是进行实时数据的处理,所以会把数据存储在消息队列中的。消息队列把这些中间的消息存在zeromq中,zeromq是用c++写的一个消息队列。所以在安装storm之前先要安装zeromq:号称史上最快的消息队列。
但是storm是运行在jvm上的,所以要和c++的程序进行交互,在它们之间还要安装一个软件:jzmq。
在根目录下建立一个文件夹,用于安装大数据云计算的相关软件 mkdir /cloud
$ tar -cvf file2.tar -C /home/usr2 file2
该命令中的-C dir参数,将tar的工作目录从当前目录改为/home/usr2,将file2文件(不带绝对路径)压缩到file2.tar中。注意:-C dir参数的作用在于改变工作目录,其有效期为该命令中下一次-C dir参数之前。
解压zeromq tar -zxvf zeromq-2.1.gz -C /cloud
cd zeromq
由于zeromq是c++的,所以要进行编译,安装等操作。执行configure命令对编译环境进行检测 ./configure
可能找不到c++编译器 使用yum自动安装可安装的软件 sudo
出现错误:configure: error: cannot link with -luuid, install uuid-dev.需要安装软件包uuid-devel和libuuid-devel
sudo
编译通过后,进行安装 使用: make install进行安装
zeromq就安装完成了。
安装jzmq是java调C++的桥梁。进而和消息队列进行通信。
解压zip的命令: unzip jzmq-2.0 -d /cloud/ 将jzmq解压到指定的目录cloud下
cd /cloud cd jzmq-master
在当前目录下并没有配置文件等可以执行的文件,需要运行 ./autogen.sh (这里需要lib-tool,上面已经安装过)
运行完atuogen.sh后会产生configure这个文件,执行该文件进行编译环境的检测 ./configure
使用make install 编译安装: make install
安装jzmq完成。
安装python
storm的启动脚本是python写的,centos已经安装了,所以不需要再安装了。
查看python的版本 python -V
sotrm进行安装
拷贝在指定目录
将storm的压缩文件进行解压 unzip storm-0.9.zip -d /cloud/
storm是通过jzmq来访问zeromq的
storm的主节点和子节点的协调是通过zk进行完成的。
安装zookeeper
解压zk,tar -zxvf zookeepere-3.4.5 -C /cloud/
配置zk, cd zookeeper
进入zk的配置文件 cd conf
cp zoo_sample.cfg zoo.cfg 把提供的例子配置拷贝一个就可以。
vim zoo,cfg 配置zookeeper的端口,启动的时候占用哪个端口,不需要修改
cd bin 启动zk ./zkserver.sh start zk启动成功了
使用jps可以查看运行的进程
启动storm的主节点
cd storm/conf 配置storm vim storm.yaml
在storm中需要指定zkd的地址,配置server 输入ip 配置nimbus:host :ip :wq
cd bin 启动storm的主节点: ./storm nimbus
jps查看 可以使用监控页面 ./storm ui 然后通过浏览器进行访问
但是storm是运行在jvm上的,所以要和c++的程序进行交互,在它们之间还要安装一个软件:jzmq。
在根目录下建立一个文件夹,用于安装大数据云计算的相关软件 mkdir /cloud
$ tar -cvf file2.tar -C /home/usr2 file2
该命令中的-C dir参数,将tar的工作目录从当前目录改为/home/usr2,将file2文件(不带绝对路径)压缩到file2.tar中。注意:-C dir参数的作用在于改变工作目录,其有效期为该命令中下一次-C dir参数之前。
解压zeromq tar -zxvf zeromq-2.1.gz -C /cloud
cd zeromq
由于zeromq是c++的,所以要进行编译,安装等操作。执行configure命令对编译环境进行检测 ./configure
可能找不到c++编译器 使用yum自动安装可安装的软件 sudo
yum
install
gcc-c++
出现错误:configure: error: cannot link with -luuid, install uuid-dev.需要安装软件包uuid-devel和libuuid-devel
sudo
yum
install
uuid-devel,sudoyum[code]install
libuuid-devel
出现错误:autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.需要安装libtool:
sudoyum[code]install
libtool
回到安装路径下在一次进行编译环境的检测 ./configure
没有了报错,进行编译:make 回车
编译通过后,进行安装 使用: make install进行安装
zeromq就安装完成了。
安装jzmq是java调C++的桥梁。进而和消息队列进行通信。
解压zip的命令: unzip jzmq-2.0 -d /cloud/ 将jzmq解压到指定的目录cloud下
cd /cloud cd jzmq-master
在当前目录下并没有配置文件等可以执行的文件,需要运行 ./autogen.sh (这里需要lib-tool,上面已经安装过)
运行完atuogen.sh后会产生configure这个文件,执行该文件进行编译环境的检测 ./configure
使用make install 编译安装: make install
安装jzmq完成。
安装python
storm的启动脚本是python写的,centos已经安装了,所以不需要再安装了。
查看python的版本 python -V
sotrm进行安装
拷贝在指定目录
将storm的压缩文件进行解压 unzip storm-0.9.zip -d /cloud/
storm是通过jzmq来访问zeromq的
storm的主节点和子节点的协调是通过zk进行完成的。
安装zookeeper
解压zk,tar -zxvf zookeepere-3.4.5 -C /cloud/
配置zk, cd zookeeper
进入zk的配置文件 cd conf
cp zoo_sample.cfg zoo.cfg 把提供的例子配置拷贝一个就可以。
vim zoo,cfg 配置zookeeper的端口,启动的时候占用哪个端口,不需要修改
cd bin 启动zk ./zkserver.sh start zk启动成功了
使用jps可以查看运行的进程
启动storm的主节点
cd storm/conf 配置storm vim storm.yaml
在storm中需要指定zkd的地址,配置server 输入ip 配置nimbus:host :ip :wq
cd bin 启动storm的主节点: ./storm nimbus
jps查看 可以使用监控页面 ./storm ui 然后通过浏览器进行访问
相关文章推荐
- linux下的 一些常识
- Linux 磁盘管理
- 在linux下安装jdk
- vmware centOS 开机进度条 卡死 Determining IP Information for eth0...
- linux中运行一个二进制的文件
- LINUX中system()函数详解
- 在VMware下建立一个linux和Windows共享的文件夹
- LINUX中fork()函数详解
- Linux strace命令(转)
- 如何查看/修改Linux时区和时间
- Centos 6.5 配置hadoop2.7.1
- 在Linux上实现摄像头中的霍夫圆检测
- linux——ssh服务器的配置
- Linux忘记ROOT密码后的处理方式
- c实现linux下的数据库备份
- linux命令,系统安全相关命令--passwd
- Linux系统中时间相关命令(cal,date,hwclock)
- linux awk命令详解,使用system来内嵌系统命令,批量github,批量批下载视频
- Centos 下Python 升级遇到的zlib,ssl 的问题
- linux awk命令详解,使用system来内嵌系统命令,批量github,批量批下载视频