Spark Standalone Mode 在 Win10 下搭建开发调试环境

系统环境变量配置

Java Env

略， 确保在cmd终端可以运行java

C:\windows\system32>java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Scala Env

scala download 下载 scala 安装包 scala-2.12.4.zip for windows 解压

配置系统环境变量， 系统 >> 高级系统设置 >> 高级 >> 环境变量：

新建系统变量SCALA_HOME



编辑系统变量PATH

新建 内容：

%SCALA_HOME%/bin

运行cmd终端：

C:\windows\system32>echo %SCALA_HOME%
D:\hadoop-env\scala-2.12.4

C:\windows\system32>scala -version
Scala code runner version 2.12.4 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc.

Hadoop Env

可以通过 git 下载 Windows binaries for Hadoop versions

配置环境变量

新建变量 HADOOP_HOME



编辑变量PATH ，进行新建：

%HADOOP_HOME%/bin

运行终端cmd：

C:\windows\system32>winutils --help
Usage: winutils [command] ...
Provide basic command line utilities for Hadoop on Windows.

The available commands and their usages are:

chmod          Change file mode bits.

Usage: chmod [OPTION] OCTAL-MODE [FILE]
or: chmod [OPTION] MODE [FILE]
Change the mode of the FILE to MODE.
...

Spark Env

在 Download Apache Spark 下载 spark-2.2.0-bin-hadoop2.7.tgz 压缩包，进行解压

配置环境变量：

新建环境变量 SPARK_HOME



编辑变量PATH ，进行新建：

%SPARK_HOME%/bin

在cmd 命令行中运行

spark-shell

, 默认以 local 模式运行：

命令行窗口运行 Cluster

启动 Master

在窗口1中运行：

spark-class2.cmd org.apache.spark.deploy.master.Master

启动Slave

在窗口2中运行：

spark-class2.cmd org.apache.spark.deploy.worker.Worker spark://192.168.200.1:7077

Standalone 运行状态

在浏览器中查看运行状态输入： http://192.168.200.1:8080/

Standalone 模式样例运行

创建一个Spark项目， 通过 IntelliJ IDEA , 通过在代码中指定 Master 地址 spark://192.168.200.1:7077

package com.borey.spark

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SparkSession

/**
*
* Created by Borey.Zhu on 2017/11/16.
*/

object Test {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
.setMaster("spark://192.168.200.1:7077")
.setAppName("Standalone Test")

val sc = new SparkContext(conf)
// 使用windows文件目录通过在路径前面添加file前缀
val rdd1 = sc.textFile("file:\\D:\\hadoop-env\\data\\*.txt")
println(rdd1.count())
sc.stop()
}
}

运行 Test， 成功 打印输出统计数目为 3：

代码追踪

通过在代码中进行添加断点， 以Debug（ Shift + F9）模式运行, 可以Trace代码运行: