Apache Spark 学习笔记(1)
2015-12-10 18:26
501 查看
今天正式开始学习Spark。
从Sparkg官网下载1.5.2版本,然后解压到本地一个目录。
我的机器环境:
系统:DELL笔记本,windows 7 64 bit,4核CPU,8G内存,256M闪存硬盘。
JVM: JDK 1.8.0_65
Scala: 2.10.2
我下载的是Spark with hadoop 2.6 版本,但是容易误导人的是,Spark并不自带Hadoop客户端的DLL。
Spark并不依赖于Hadoop,但是因为Spark可以无缝的集成Hadoop的HDFS和YARN,因此如果要在windows上使用HDFS和YARN,那么需要将Hadoop 客户端的DLL拷贝到%PATH%路径中。在Windows平台上,这意味着,你需要自己手工编译Hadoop。
操作一:跑Spark的run-example脚本:
操作二:打开Spark提供的交互式Shell:
–master 参数用来指定集群里master的地址。如果等于local
, 那就使用本地线程模拟。一般local
用于本地测试。
使用这个交互式Shell可以帮助你探索Spark的使用。
操作三:使用spark-submit提交一个作业:
从Sparkg官网下载1.5.2版本,然后解压到本地一个目录。
我的机器环境:
系统:DELL笔记本,windows 7 64 bit,4核CPU,8G内存,256M闪存硬盘。
JVM: JDK 1.8.0_65
Scala: 2.10.2
我下载的是Spark with hadoop 2.6 版本,但是容易误导人的是,Spark并不自带Hadoop客户端的DLL。
Spark并不依赖于Hadoop,但是因为Spark可以无缝的集成Hadoop的HDFS和YARN,因此如果要在windows上使用HDFS和YARN,那么需要将Hadoop 客户端的DLL拷贝到%PATH%路径中。在Windows平台上,这意味着,你需要自己手工编译Hadoop。
操作一:跑Spark的run-example脚本:
C:\toolkit\spark-1.5.2-bin-hadoop2.6>.\bin\run-example SparkPi 10
操作二:打开Spark提供的交互式Shell:
C:\toolkit\spark-1.5.2-bin-hadoop2.6>bin\spark-shell --master local[2]
–master 参数用来指定集群里master的地址。如果等于local
, 那就使用本地线程模拟。一般local
用于本地测试。
使用这个交互式Shell可以帮助你探索Spark的使用。
SQL context available as sqlContext. scala> val textFile = sc.textFile("README.md") textFile: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at <console>:21 scala> textFile.count() res0: Long = 98 scala> textFile.first res1: String = # Apache Spark scala> val linesWithSpark = textFile.filter(line => line.contains("Spark")) linesWithSpark: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[2] at filter at <console>:23 scala> linesWithSpark.collect res2: Array[String] = Array(...) scala>
操作三:使用spark-submit提交一个作业:
C:\toolkit\spark-1.5.2-bin-hadoop2.6\bin>spark-submit --class org.apache.spark.examples.LocalPi --master local[4] ..\lib\spark-examples-1.5.2-hadoop2.6.0.jar Picked up JAVA_TOOL_OPTIONS: -Dfile.encoding=UTF-8 Picked up JAVA_TOOL_OPTIONS: -Dfile.encoding=UTF-8 Pi is roughly 3.13252
相关文章推荐
- java操作POI 错误 org.apache.xmlbeans.XmlOptions
- Apache编译与安装 RedHat enterprises 6.2
- Apache Stratos探究:概念--cloudburst和Hybrid Cloud
- 让apache支持CGI
- eclipse中启动服务器正常,地址栏输入访问地址出现500,org.apache.commons.lang.exception.NestableRuntimeException
- org.apache.harmony.xml.ExpatParser$ParseException: At line 1, column 0: unknown encoding
- org.apache.harmony.xml.ExpatParser$ParseException: At line 1, column 0: unknown encoding
- 关于apache配置虚拟主机
- org.apache.harmony.xml.ExpatParser$ParseException: At line 1, column 0: unknown encoding
- org.apache.lucene.queryParser.ParseException: Encountered "<EOF>" at line 1, column 0.
- xampp apache port 更改
- Apache Commons工具集简介
- centOS下自带安装了apache和php,如何配置呢 ?
- Apache 安装步骤
- Apache CXF 和 Spring 开发RESTful Web Service 2
- apache AH01630: client denied by server configura
- LAMP 2.7 Apache通过rewrite限制某个目录
- LAMP 2.6 Apache 禁止指定user_agent
- LAMP 2.5 Apache禁止解析php
- windows下安装配置apache、mysql、php