关于部署大数据开发环境的几个笔记
2016-09-09 10:03
246 查看
1.SSH免密码登录
问题:配置了秘钥但是并不起作用
解决:把主文件目录的权限更改755 原来是777
原因:怀疑是设置主文件目录为777以后,系统将其当做root用户,查找公钥时按照root目录去找的
2.windows下使用intellij的maven搭建scala2.11.8+spark2.0.0+hadoop2.7.2
按照本篇教程搭建
问题1:打成jar包的时候,报错
原因:选在scala典型模板的时候,intellij自带的simple模板是不正确的,需要自己添加
groupId:net.alchim31.maven
artifactId:scala-archetype-simple
version:1.6
packaging:maven-archetype
问题2:按如上操作后打包时候报另外的错
scalac error: bad option: '-make:transitive' on mvn package via command line
解决:在pom.XML中注释掉make:transitive。然后添加
<dependency>
<groupId>org.specs2</groupId>
<artifactId>specs2-junit_2.11</artifactId>
<version>2.4.16</version>
</dependency>
3.spark提交任务
问题:配置了秘钥但是并不起作用
解决:把主文件目录的权限更改755 原来是777
原因:怀疑是设置主文件目录为777以后,系统将其当做root用户,查找公钥时按照root目录去找的
2.windows下使用intellij的maven搭建scala2.11.8+spark2.0.0+hadoop2.7.2
按照本篇教程搭建
问题1:打成jar包的时候,报错
Scala Eclipse Plugin showstopper - error while loading Predef, Scala signature Predef has wrong version expected: 5.0 found: 4.1
原因:选在scala典型模板的时候,intellij自带的simple模板是不正确的,需要自己添加groupId:net.alchim31.maven
artifactId:scala-archetype-simple
version:1.6
packaging:maven-archetype
问题2:按如上操作后打包时候报另外的错
scalac error: bad option: '-make:transitive' on mvn package via command line
解决:在pom.XML中注释掉make:transitive。然后添加
<dependency>
<groupId>org.specs2</groupId>
<artifactId>specs2-junit_2.11</artifactId>
<version>2.4.16</version>
</dependency>
3.spark提交任务
相关文章推荐
- [Linux]在Linux上部署Java开发环境笔记(一)-- 补充:Linux下如何手动设置IP及配置DNS服务
- [Linux]在Linux上部署Java开发环境笔记(三)-- 补充:Linux中安装Oracle10g(标准版)
- 收集几个关于环境空气质量数据的网站
- 菜鸟的android开发笔记 之 第一弹 环境部署
- 笔记三:关于在Windows环境下mysql数据库数据ORDER BY排序的问题
- [Linux]在Linux上部署Java开发环境笔记(三):Linux中安装Tomcat6.0
- 实习笔记——如何把实验室科研数据分析项目变成能部署到生产环境中的工程
- React Native 学习笔记十九(关于开发环境)
- 关于mapreduce 开发环境部署和jar包拷贝问题
- 关于部署好tomcat的环境下 jsp文件在eclipse中能运行,但是在浏览器打开时显示404错误的个人笔记
- [Linux]在Linux上部署Java开发环境笔记(五):Linux中安装MySQL
- .net笔记4:Silverlight开发环境的几个要点
- 关于开发环境 git 重新部署
- Android应用开发学习笔记(1)开发环境部署
- SAS学习笔记(四)——关于数据整合的几个细节
- Hadoop学习笔记1:Hadoop2.7.3分布式部署-Eclipse开发环境部署
- [Linux]在Linux上部署Java开发环境笔记(一):虚拟机安装Linux,配置Linux和主机XP能互Ping成功
- ubuntu上搭建eclipse下hadoop-2.7.1集群(全分布式)开发环境遇到的几个问题笔记
- 【Android】关于android开发,环境部署的一些小问题
- 大数据环境部署、开发和应用(hadoop、spark