在spark中遇到了奇怪的错误,找到了奇怪的解决方法
2016-03-10 23:15
183 查看
这两天一直在写spark程序,遇到了一个奇怪的问题。
问题简单描述如下,有两个RDD,设为rdd_a,rdd_b,当将这两个rdd合并的时候,spark会在运行中卡死。
解决方式也是奇葩。
只要在合并这两个rdd之前,分别执行rdd_a.count(),rdd_b.count(),程序就又能够愉快的走下去了。
也就是说如果在转换操作的时候程序运行卡死,请尝试在转换操作之前,先对RDD进行行动操作。
参考:
stackOverFlow
问题简单描述如下,有两个RDD,设为rdd_a,rdd_b,当将这两个rdd合并的时候,spark会在运行中卡死。
解决方式也是奇葩。
只要在合并这两个rdd之前,分别执行rdd_a.count(),rdd_b.count(),程序就又能够愉快的走下去了。
也就是说如果在转换操作的时候程序运行卡死,请尝试在转换操作之前,先对RDD进行行动操作。
参考:
stackOverFlow
相关文章推荐
- postgresql 视图
- 对百度云盘的评价
- 大型网站架构系列:分布式消息队列
- 推荐一个Android开发懒人库 -- ButterKnife
- linux 文件删除原理
- 从一道求最大子列和问题分析时间复杂度
- 工厂方法
- for 循环 以及 for 循环的嵌套
- 关于win7和ubuntu 14.04双系统启动修复的几点总结
- Spark-Graph x
- wireshark数据包分析实战 读书笔记
- centos7 搭建SVN服务器
- 《我是一只IT小小鸟》读后感
- 自定义View理解(一)
- 浅谈MVP实现Android应用层开发
- DOS
- Spring3 MVC请求参数获取的几种方法
- 【转】static_cast和reinterpret_cast
- fullpage插件
- jdbc mysql crud dao模型 sql注入漏洞 jdbc 操作大文件