IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试（spark集群运行模式）

开发环境配置
目前开发环境为

scala-2.10.4

sbt-0.13.8

一般我习惯直接把这些解压到C盘
JAVA_HOME

C:\Java\jdk1.8.0_45

SBT_HOME

C:\sbt-0.13.8

SCALA_HOME

C:\scala-2.10.4

配置到环境变量path中

;%SCALA_HOME%\bin;%SBT_HOME%\bin

;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

配置完成后,在cmd中判断







代码编写,编译打包

新建SBT工程



配置工程信息,选择好指定SBT版本,scala版本
勾选use auto-import(自动导入)





根据需要修改build.sbt中的内容,例如



也可以等待下面的包导入结束



在scala目录创建一个包,名字根据实际要求来



再在这个包上创建一个scala类



写个wordcount测试



使用sbt编译打包,首先点击sbt console,然后点击绿色箭头启动



启动sbt



执行package开始打包(打包的同时也会编译)



出现success证明打包完毕



一般可以在工程文件夹的,target目录->scala版本目录中找到打好的jar包



实际spark环境中测试
将jar包传到spark环境的系统中



这是一段wordcount的代码,开始执行

执行命令格式

YOUR_SPARK_HOME/bin/spark-submit \      这个地方我们配置好环境变量后可以直接写 spark-submit

--master spark://cloud138:7077 \                  spark集群的地址

--class 包名.类名                            

jar包名.jar 后面跟输入 输出

spark-submit --master spark://cloud138:7077 --class com.tescomm.test.test test2_2.10-1.0.jar 1.cx cxtest2





检查输出目录



检查结果