您的位置:首页 > 其它

在spark中遇到了奇怪的错误,找到了奇怪的解决方法

2016-03-10 23:15 183 查看
  这两天一直在写spark程序,遇到了一个奇怪的问题。

  问题简单描述如下,有两个RDD,设为rdd_a,rdd_b,当将这两个rdd合并的时候,spark会在运行中卡死。

  解决方式也是奇葩。

  只要在合并这两个rdd之前,分别执行rdd_a.count(),rdd_b.count(),程序就又能够愉快的走下去了。

  也就是说如果在转换操作的时候程序运行卡死,请尝试在转换操作之前,先对RDD进行行动操作。

  参考:

  stackOverFlow
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: