一些spark的相关链接
2015-12-24 10:12
204 查看
http://hackers-duffers.logdown.com/posts/245018-configuring-spark-with-intellij
在/sbt/sbt package之后还要执行sbt assembly 才能生成assembly的jar包
运行时出现java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;错误时请确定spark的编译和执行均使用同一个scala版本，最好都用2.10
运行时出现
Exception: Could not locate executable null\bin\winutils.exe in the Hadoop
在/sbt/sbt package之后还要执行sbt assembly 才能生成assembly的jar包
运行时出现java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;错误时请确定spark的编译和执行均使用同一个scala版本，最好都用2.10
运行时出现
Exception: Could not locate executable null\bin\winutils.exe in the Hadoop
请参照https://issues.apache.org/jira/browse/SPARK-2356的相关做法，下载或编译winutils.exe然后放在一个disk:\folder\bin目录下，然后设置环境变量HADOOP_HOME=disk:\folder
调试参见http://www.tamabc.com/article/144618.html
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- mysql日志文件
- SDWebImage异步加载图片及缓存的管理与清理
- Top JavaScript Frameworks, Libraries & Tools and When to Use Them
- http request 获取复杂json数据时出现异常解决额
- 使用user library出现以下问题的解决方法
- [eclipse]android开发如何查看源代码文件(android source)
- HTML5初识
- Linux下GCC的DEBUG和优化，以及编译过程
- 如何快而好的学习编程
- update 多表操作
- 沈大海Bootstrap系列教程
- TextView+View渐变，viewpager滑动的时候
- 将数组、对象、Map、List转换成JSON数据
- 将数组、对象、Map、List转换成JSON数据
- sql查询时加上行号
- log.isDebugEnabled()的使用
- Java实现LRU（最近最少使用）缓存
- 万科官方公众号发声：王石“认输”？假的！
- 深入浅析php json 格式控制
- Android完全隐藏导航键/虚拟按键和状态栏