安装部署Spark 1.x Standalone模式集群

Configuration
    spark-env.sh
        HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.0-cdh5.4.0/etc/hadoop
        JAVA_HOME=/opt/modules/jdk1.7.0_67
        SCALA_HOME=/opt/modules/scala-2.10.4
        #######################################################

      #主节点
        SPARK_MASTER_IP=hadoop-spark.dragon.org

       #端口号默认7077
        SPARK_MASTER_PORT=7077

       #web端口号
        SPARK_MASTER_WEBUI_PORT=8080

       #内核管理
        SPARK_WORKER_CORES=1

        #woker管理内存
        SPARK_WORKER_MEMORY=1000m

        #端口号
        SPARK_WORKER_PORT=7078

       #web端口号
        SPARK_WORKER_WEBUI_PORT=8081

         #节点可以起几个进程，默认一个
        SPARK_WORKER_INSTANCES=1

修改hadoop工作地址的slaves配置

  hadoop-spark.dragon.org

知道worker工作地址的slaves配置
        hadoop-spark.dragon.org

配置参数供程序使用

spark-defaults.conf
        spark.master                     spark://hadoop-spark.dragon.org:7077

启动

sbin/start-master.sh

sbin/start-slaves.sh