Storm平台搭建3--项目中用到的一些内容
2015-10-30 16:37
387 查看
一共做了两个demo程序
第一:http://edu.csdn.net/course/detail/350 中介绍的WordCountTopology,这个在Storm单机下就可以完成
第二:http://edu.51cto.com/lesson/id-24513.html 做了这个示例项目,具体大家看视频来学习好了
其中用到的技术有
Storm 0.9.1
Kafka0.8.1.1
memcached
mysql
zookeeper锁
1. 安装libevent 注意 ./configure --prefix /usr/local/libevent
2. 安装memcached 注意 ./configure --prefix /usr/local/memcached -with-libevent /usr/local/libevent
不要忘记启动memcached ./memcached -d .....
3. 安装mysql数据库
在这个地方我是用yum来安装的,
yum install mysql-server
service mysqld start
但是安装之后storm启动总是报错 原因是安装mysql过程中java -version改变了
gcj版本要在1.5.0以上才能使用storm
解决方法是 rpm -qa | grep jdk yum -y remove..掉
rpm -qa | grep gcj yum -y remove...掉
再重新安装jdk和storm storm和mysql就都能正常使用了
推荐一个工具,在主机可视化操作虚拟机中的mysql,SQLyog
4. 使用Curator对zookeeper集群进行加锁操作
第一:http://edu.csdn.net/course/detail/350 中介绍的WordCountTopology,这个在Storm单机下就可以完成
第二:http://edu.51cto.com/lesson/id-24513.html 做了这个示例项目,具体大家看视频来学习好了
其中用到的技术有
Storm 0.9.1
Kafka0.8.1.1
memcached
mysql
zookeeper锁
1. 安装libevent 注意 ./configure --prefix /usr/local/libevent
2. 安装memcached 注意 ./configure --prefix /usr/local/memcached -with-libevent /usr/local/libevent
不要忘记启动memcached ./memcached -d .....
3. 安装mysql数据库
在这个地方我是用yum来安装的,
yum install mysql-server
service mysqld start
但是安装之后storm启动总是报错 原因是安装mysql过程中java -version改变了
gcj版本要在1.5.0以上才能使用storm
解决方法是 rpm -qa | grep jdk yum -y remove..掉
rpm -qa | grep gcj yum -y remove...掉
再重新安装jdk和storm storm和mysql就都能正常使用了
推荐一个工具,在主机可视化操作虚拟机中的mysql,SQLyog
4. 使用Curator对zookeeper集群进行加锁操作
相关文章推荐
- ubuntu下共享wifi 使用kde5-nm-connection-editor
- java数组
- 短音频\音乐播放+震动(和手机来电一样震动音乐停震动停)
- Python自然语言处理Step0:Natural Language Toolkit工具配置
- javaScript正则表达式
- 选择符API
- OD使用教程11
- Python自然语言处理Step0:Natural Language Toolkit工具配置
- 使用cocoapods卡在Updating local specs respositories
- java中的压缩流
- 技术揭秘12306改造(二):探讨12306两地三中心混合云架构
- asp.net版本kindeditor4.1.10
- plsql连接linux64oracle11g的异常和解决方法
- OD使用教程10
- Java Sax解析xml
- 浅析Go语言编程当中映射和方法的基本使用
- Buffer类的详解(转)
- 技术揭秘12306改造(一):尖峰日PV值297亿下可每秒出票1032张
- 全国(大学)高等教育各学科视频教学全集
- 动态规划排线算法问题java语言实现 在一块电路板的上、下2端分别有n个接线柱。根据电路设计,要求用导线(i,π(i))将上端接线柱与下端接线柱相连