Standalone spark-env.sh 配置

本文列取了部分spark-env.sh里面的配置
SPARK_MASTER_OPTS 设置只适用于Master的配置属性，形式为“-Dx = y” (默认值:无)，配置选项参见下面列表。

SPARK_LOCAL_DIRS 设置Spark 缓存空间目录, 包括存储在磁盘上的映射输出文件和RDDS；这可以是一种快速的本地磁盘系统, 也可以是一个以逗号分隔的位于.不同磁盘上的多个目录。

SPARK_WORKER_CORES 设置Applications可用的内核总数(默认: 可用的全部内核).

SPARK_WORKER_MEMORY 设置Applications可用的内存总量, 例如1000M,2G(默认值:内存总量减去1GB)。注意：单个Application的内存配置使用它的spark.executor.memory属性.

SPARK_WORKER_PORT 在特定端口上启动worker (默认: 随机值)。

SPARK_WORKER_WEBUI_PORT Worker web UI端口(默认值: 8081)

SPARK_WORKER_INSTANCES 在每台机器上运行的worker实例数量(默认值: 1)。如果你有非常多的机器, 并且希望启动多个spark-worker进程,可以使worker的实例数大于1。如果这样设置，还要确保设置环境变量SPARK_WORKER_CORES来明确限制每个worker所允许使用的内核总数，否则每个worker将会尝试使用所有的处理器内核。

SPARK_WORKER_DIR 设置applications的运行目录，包括日志和暂存空间(默认值: SPARK_HOME /work)。

SPARK_WORKER_OPTS 设置只适用于Worker的配置属性，形式为“-Dx = y” (默认值: 无)，配置选项参见下面列表。

SPARK_DAEMON_MEMORY 为Spark-master和worker的守护进程分配内存(默认值: 512M)。

SPARK_DAEMON_JAVA_OPTS Spark-master和worker守护进程的JVM选项，（默认为：无）。

SPARK_PUBLIC_DNS 设置Spark-master和workers的公共DNS名称（默认值：无）