Spark+Hadoop安装注意事项
2017-12-21 19:44
127 查看
1.安装之前选择合适的版本,避免使用被淘汰的版本
2.注意不同版本Spark和不同Hadoop以及JDK和SDK版本的兼容性
3.如果是作为学习,可以只搭建local模式,只有一个节点,Hadoop和Spark都可以只设置一个节点
4.下载Idea使用时需要下载Scala插件,并导入JDK和SDK,还需要导入对应的Spark Jar包
5.hadoop的data目录所在分区最好选用剩余磁盘较大的空间,避免hadoop在上传文件或者进行运算时,出现磁盘空间不足的情况。
2.注意不同版本Spark和不同Hadoop以及JDK和SDK版本的兼容性
3.如果是作为学习,可以只搭建local模式,只有一个节点,Hadoop和Spark都可以只设置一个节点
4.下载Idea使用时需要下载Scala插件,并导入JDK和SDK,还需要导入对应的Spark Jar包
5.hadoop的data目录所在分区最好选用剩余磁盘较大的空间,避免hadoop在上传文件或者进行运算时,出现磁盘空间不足的情况。
相关文章推荐
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- hadoop环境配置(1)--总体软件需要介绍,以及fedora安装注意事项
- Hadoop集群安装注意事项
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- Ubuntu安装单机版hadoop注意事项
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- hadoop32位编译为64位以及安装运行注意事项--centos7
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- hadoop+spark 安装注意事项,资料及安装大礼包
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- win7下hadoop安装配置注意事项
- 在Windows下安装Cygwin和Hadoop的方案和注意事项
- 生产环境上的HADOOP安装部署注意事项(HDP版)
- 生产环境上的HADOOP安装部署注意事项(HDP版)