利用Intellij Idea在windows搭建spark 开发环境(含打jar包过程)(一)
2017-01-16 15:20
573 查看
本文的目的:利用Intellij Idea在windows搭建spark 开发环境
环境:windows 10, intellij idea2016.1.1, spark 1.6.2(HDP),hadoop2.7.3(HDP),scala 2.10.5(编译环境), sbt管理依赖
背景:spark单点运算不能解决大数据的问题的时候,就需要使用spark-submit 调用jar包的方式分布式运算,从而提高集群的运算和资源使用能力。
集群模式:本文默认使用的是spark自带的standalone模式。
[由于CSDN博客不支持截图图片大小超过2M,所以这里只有步骤没有截图说明]
步骤:
第一步
下载intellij idea2016.1.1,点击此处下载Community版本:安装 Intellij IDEA
第二步:
在Intellij菜单中选择“Configure”→“Plugins”→“Browse repositories”命令,在弹出的界面中输入“Scala”搜索插件,然后点击相应安装按钮进行安装,重启Intellij使配置生效。
第三步:
点击File, 选择“Create New Project”命令,此时选择左侧列表中的“Scala”选项,为了方便以后的开发工作,选择右侧的“SBT”选项。
[差不多等1个小时后可以看到自动创建的src目录]
然后,邮件src目录,新建scala class, name 为HelloSpark,kind 修改为Object。
第四步:测试程序是否正确
右键HelloSpark.scala ,run 'HelloSpark'. 如果能看到“Hello Spark”环境没有问题。
第五步:加入Spark开发包:
使用IDEA导入外部Jar包,具体步骤:
“File”→“Project Structure”→“Modules”→“Dependencies”→+...→“Library...”→“Library Type(Java)”→“Select Library Files”→“Configure Library”
然后点击 “apply”
spark 程序必须要把spark-assembly-1.5.0-hadoop2.3.0.jar, jdk jar,以及相关的驱动包放入。都可以使用这样的方法。
第六步:IDEA 生成JAR
使用IDEA编译class文件,同时可以将class打包成Jar文件,方法如下:
①选择菜单“File”→“Project Structure”,弹出“Project Structure”的设置对话框;
②选择左边的“Artifacts”,点击上方的“+”按钮;
③在弹出的对话框中选择“Jar”→“from moduls with dependencies”;
④选择要启动的类,然后确定;
⑤应用之后选择菜单“Build”→“Build Artifacts”,选择“Build”或者“Rebuild”后即可生成,生成的Jar文件位于工程项目目录的out/artifacts下。
##这里一定要确认Artifacts->Output Layout->Main Class 一定是主类,比如HelloSpark;
##jar 的路径可以在项目路径下找到:
##..\HelloSpark\out\artifacts\HelloSpark_jar\
最后, 环境测试:
为了确保环境没有问题,可以跑下面这段代码测试一下:
测试代码:
如有不详之处,欢迎留言。
本文参考书籍:spark核心技术与高级应用
环境:windows 10, intellij idea2016.1.1, spark 1.6.2(HDP),hadoop2.7.3(HDP),scala 2.10.5(编译环境), sbt管理依赖
背景:spark单点运算不能解决大数据的问题的时候,就需要使用spark-submit 调用jar包的方式分布式运算,从而提高集群的运算和资源使用能力。
集群模式:本文默认使用的是spark自带的standalone模式。
[由于CSDN博客不支持截图图片大小超过2M,所以这里只有步骤没有截图说明]
步骤:
第一步
下载intellij idea2016.1.1,点击此处下载Community版本:安装 Intellij IDEA
第二步:
在Intellij菜单中选择“Configure”→“Plugins”→“Browse repositories”命令,在弹出的界面中输入“Scala”搜索插件,然后点击相应安装按钮进行安装,重启Intellij使配置生效。
第三步:
点击File, 选择“Create New Project”命令,此时选择左侧列表中的“Scala”选项,为了方便以后的开发工作,选择右侧的“SBT”选项。
[差不多等1个小时后可以看到自动创建的src目录]
然后,邮件src目录,新建scala class, name 为HelloSpark,kind 修改为Object。
第四步:测试程序是否正确
object HelloSpark { def main(args:Array[String]): Unit ={ print("Hello Spark") } }
右键HelloSpark.scala ,run 'HelloSpark'. 如果能看到“Hello Spark”环境没有问题。
第五步:加入Spark开发包:
使用IDEA导入外部Jar包,具体步骤:
“File”→“Project Structure”→“Modules”→“Dependencies”→+...→“Library...”→“Library Type(Java)”→“Select Library Files”→“Configure Library”
然后点击 “apply”
spark 程序必须要把spark-assembly-1.5.0-hadoop2.3.0.jar, jdk jar,以及相关的驱动包放入。都可以使用这样的方法。
第六步:IDEA 生成JAR
使用IDEA编译class文件,同时可以将class打包成Jar文件,方法如下:
①选择菜单“File”→“Project Structure”,弹出“Project Structure”的设置对话框;
②选择左边的“Artifacts”,点击上方的“+”按钮;
③在弹出的对话框中选择“Jar”→“from moduls with dependencies”;
④选择要启动的类,然后确定;
⑤应用之后选择菜单“Build”→“Build Artifacts”,选择“Build”或者“Rebuild”后即可生成,生成的Jar文件位于工程项目目录的out/artifacts下。
##这里一定要确认Artifacts->Output Layout->Main Class 一定是主类,比如HelloSpark;
##jar 的路径可以在项目路径下找到:
##..\HelloSpark\out\artifacts\HelloSpark_jar\
最后, 环境测试:
为了确保环境没有问题,可以跑下面这段代码测试一下:
测试代码:
object SparkPi { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark Pi") conf.setMaster("spark://192.168.1.125:7077") val spark = new SparkContext(conf) val slices = if (args.length > 0) args(0).toInt else 2 val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow val count = spark.parallelize(1 until n, slices).map { i => val x = random * 2 - 1 val y = random * 2 - 1 if (x*x + y*y < 1) 1 else 0 }.reduce(_ + _) println("Pi is roughly " + 4.0 * count / n) spark.stop() } }
如有不详之处,欢迎留言。
本文参考书籍:spark核心技术与高级应用
相关文章推荐
- spark学习10(win下利用Intellij IDEA搭建spark开发环境)
- 利用Intellij IDEA构建Spark开发环境(包括scala环境的搭建)
- SPARK--Windows下利用scala for eclipse搭建简易的spark开发环境
- Spark2.x学习笔记:6、在Windows平台下搭建Spark开发环境(Intellij IDEA)
- Spark(八) -- 使用Intellij Idea搭建Spark开发环境
- Windows下基于eclipse的Spark应用开发环境搭建
- 记录一下当时搭建windows下vs2010作编译器qt开发环境的过程
- 基于Windows 7旗舰版搭建WinCE6.0开发环境的过程
- Apache Spark探秘:利用Intellij IDEA构建开发环境
- Apache Spark探秘:利用Intellij IDEA构建开发环境
- Windows10下搭建汇编语言开发环境(利用DOSBOX和MASM32)
- Spark修炼之道(进阶篇)——Spark入门到精通:第三节 Spark Intellij IDEA开发环境搭建
- 搭建Windows系统下php开发环境有很多种方式,比如LAMP的配置、php IDE和调试工具的选择等等。根据每个人喜好不同有很多配置方式。这里主要介绍的是利用XAMPP集成安装和配置apache、
- 【Android】利用adt-bundle在Windows下轻松搭建Android开发环境与Hello world
- Windows 7和Ubuntu 14.04下分别搭建Android开发环境过程和遇到的问题
- NDK在windows下的开发环境搭建及开发过程
- Windows环境利用Vmware7.1.3 搭建iPhone开发环境
- Windows环境利用VMware7.1.3 搭建iPhone开发环境
- 基于Windows 7旗舰版搭建WinCE6.0开发环境的过程
- 基于Windows 7旗舰版搭建WinCE6.0开发环境的过程