Storm之——常见问题及解决办法
2017-10-24 23:25
573 查看
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/78336187
在做Storm编程时,通常会遇到一些问题,那么,这里就给大家介绍几种常见的问题和对应的解决办法,供大家在日常学习和工作中参考。
1. 发布topologies到远程集群时,出现Nimbus host is not set异常
原因是Nimbus没有被正确启动起来,可能是storm.yaml文件没有配置,或者配置有问题。
解决方法:打开storm.yaml文件正确配置:nimbus.host: "xxx.xxx.xxx.xxx",重启nimbus后台程序即可。
2. 发布topologies到远程集群时,出现AlreadyAliveException(msg: xxx is already active)异常
原因是提供的topology与已经在运行的topology重名。
解决方法:发布时换一个拓扑名称即可。
3. 启动Supervisor时,出现java.lang.UnsatisfiedLinkError: /usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object file: No such file or directory异常
原因是未找到zmq动态链接库。
解决方法1:export LD_LIBRARY_PATH=/usr/local/lib
解决方法2:编辑/etc/ld.so.conf文件,增加一行:/usr/local/lib。再执行sudo ldconfig命令,重启Supervisor。
4. 发布drpc类型的topologies到远程集群时,出现空指针异常,连接drpc服务器失败
原因是未正确配置drpc服务器地址。
解决方法:在conf/storm.yaml文件中增加drpc服务器配置,启动配置文件中指定的所有drpc服务。内容如下:
错误日志如下所示:
原因是日志系统无法正确支付序列化。
解决方法:使用slf4j代替log4j。
7. bolt在处理消息时,worker的日志中出现Failing message
原因可能是因为Topology的消息处理超时所致。
解决方法:提交Topology时设置适当的消息超时时间,比默认消息超时时间(30秒)更长。
conf.setMessageTimeoutSecs(60);
8. storm启动时报no jzmq in java.library.path错误
原因是找不到jzmq,默认情况下在执行install_zmq.sh时,那些.so文件安装路径在/usr/local/lib,但是实际安装时可能装在其他的路径下了。
解决方法:在storm.yaml中添加:
具体的make错误信息:
具体的make错误信息:
在做Storm编程时,通常会遇到一些问题,那么,这里就给大家介绍几种常见的问题和对应的解决办法,供大家在日常学习和工作中参考。
1. 发布topologies到远程集群时,出现Nimbus host is not set异常
原因是Nimbus没有被正确启动起来,可能是storm.yaml文件没有配置,或者配置有问题。
解决方法:打开storm.yaml文件正确配置:nimbus.host: "xxx.xxx.xxx.xxx",重启nimbus后台程序即可。
2. 发布topologies到远程集群时,出现AlreadyAliveException(msg: xxx is already active)异常
原因是提供的topology与已经在运行的topology重名。
解决方法:发布时换一个拓扑名称即可。
3. 启动Supervisor时,出现java.lang.UnsatisfiedLinkError: /usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object file: No such file or directory异常
原因是未找到zmq动态链接库。
解决方法1:export LD_LIBRARY_PATH=/usr/local/lib
解决方法2:编辑/etc/ld.so.conf文件,增加一行:/usr/local/lib。再执行sudo ldconfig命令,重启Supervisor。
4. 发布drpc类型的topologies到远程集群时,出现空指针异常,连接drpc服务器失败
原因是未正确配置drpc服务器地址。
解决方法:在conf/storm.yaml文件中增加drpc服务器配置,启动配置文件中指定的所有drpc服务。内容如下:
drpc.servers: - "drpc服务器ip"5. 客户端调用drpc服务时,worker的日志中出现Failing message,而bolt都未收到数据
错误日志如下所示:
2011-12-02 09:59:16 task [INFO] Failing message backtype.storm.drpc.DRPCSpout$DRPCMessageId@3770bdf7: source: 1:27, stream: 1, id: {-5919451531315711689=-5919451531315711689}, [foo.com/blog/1, {"port":3772,"id":"5","host":"10.0.0.24"}]解决方法:主机名,域名,hosts文件配置不正确会引起这类错误。检查并修改storm相关机器的主机名,域名,hosts文件。重启网络服务:service network restart。重启storm,再次调用drpc服务,成功。Hosts文件中必须包含如下内容:
[nimbus主机ip] [nimbus主机名] [nimbus主机别名] [supervisor主机ip] [supervisor主机名] [supervisor主机别名] [zookeeper主机ip] [zookeeper主机名] [zookeeper主机别名]6. 发布topologies时,出现不能序列化log4j.Logger的异常
原因是日志系统无法正确支付序列化。
解决方法:使用slf4j代替log4j。
7. bolt在处理消息时,worker的日志中出现Failing message
原因可能是因为Topology的消息处理超时所致。
解决方法:提交Topology时设置适当的消息超时时间,比默认消息超时时间(30秒)更长。
conf.setMessageTimeoutSecs(60);
8. storm启动时报no jzmq in java.library.path错误
原因是找不到jzmq,默认情况下在执行install_zmq.sh时,那些.so文件安装路径在/usr/local/lib,但是实际安装时可能装在其他的路径下了。
解决方法:在storm.yaml中添加:
java.library.path: "/opt/storm/jzmq/lib:/opt/storm/zeromq/lib:/usr/local/lib:/opt/local/lib:/usr/lib"9. 安装jzmq时遇到No rule to make target `classdist_noinst.stamp'的make错误
具体的make错误信息:
make[1]: *** No rule to make target `classdist_noinst.stamp', needed by `org/zeromq/ZMQ.class'. Stop.解决方法:手动创建classdist_noinst.stamp空文件。
touch src/classdist_noinst.stamp10. 安装jzmq时遇到cannot access org.zeromq.ZMQ的make错误
具体的make错误信息:
error: cannot access org.zeromq.ZMQ class file for org.zeromq.ZMQ not found javadoc: error - Class org.zeromq.ZMQ not found解决方法:手动编译,然后重新make即可通过。
cd src javac -d . org/zeromq/*.java cd ..
相关文章推荐
- LoadRunner11常见问题及解决办法
- SAP常见问题与解决办法 2
- android listview选中某一行,成选中状态颜色高亮显示,ListView的UI显示中常见问题及解决办法
- div+css常见浏览器兼容问题以及解决办法
- 安装ubuntu常见问题解决办法
- Android开发中比较常见的内存泄漏问题及解决办法
- Javamail中的常见中文乱码问题与解决办法(综合)
- 常见问题及解决办法 整理之9(动态语句语法)
- 局域网设置共享文件夹及常见问题解决办法
- 常见问题解决办法之 eclipse
- 冷焊机使用过程中遇到的常见5大问题及解决办法
- javascript 常见的闭包问题的解决办法
- 5个Android开发中比较常见的内存泄漏问题及解决办法
- 关于LitePal使用时出现的常见问题与解决办法
- LCD驱动调试中部分常见问题的分析及解决办法
- 常见linux问题解决办法和ubuntu使用中遇到问题
- asp + Access 常见的数据库访问失败问题 Microsoft JET Database Engine 错误 '80004005' 解决办法
- Ubuntu下安装nginx常见问题及解决办法
- 【记录】Ubuntu常见问题解决办法
- storm安装过程中遇到的问题解决办法