SequoiaDB分布式数据库集群模式搭建Spark

先介绍我的Sequoiadb集群环境：

192.168.31.16
192.168.31.17
192.168.31.18

这三台机器搭建的集群，准备将192.168.31.16  这台机器作为我的spark的主节点

一、第一步配置jdk

配置jdk可参考如下：

在/usr/java目录下已经存在jdk

vi  home/sequoiadb/.bashrc

配置如下：

export JAVA_HOME =/usr/java/jdk
1.8.0_66
export PATH=$JAVA_HOME/bin:$PATH

然后执行

source /home/sequoiadb/.bashrc

使配置生效，或者执行 ~/.bashrc也能达到同样的效果

执行java -version 可以看出已经安装好jdk1.8

这样只是在home目录下配置的jdk，最好在etc目录下配置，和以上操作完全一样。

最后检查是否生效

echo$PATH

二、spark相关配置

进入下载好的spark安装包,这里下载的是2.1版本

cd spark-2.1.0-bin-hadoop2.7

到conf目录下 首先将下面两个文件进行备份

cp spark-env.sh.spark-env.sh.bak
cp slaves. slaves.bak

进入spark-env.sh配置文件

vi spark-env.sh

跳转到最后

配置如下：在集群每台机器上都配置相同17,18机上和16机器上位置相同

export JAVA_HOME=/opt/java/

export SCALA_HOME=/opt/scala/scala-2.11.8
export SPARK_MASTER_PORT="7077"
export SPARK_MASTER_IP=192.168.31.16
export SPARK_WORK_MEMORY=1024m
export SPARK_CLASSPATH=/home/sequoiadb/spark-2.1.0-bin-hadoop2.7/lib/sequoiadb.jar:/home/sequoiadb/spark-2.1.0-bin-hadoop2.7/lib/spark-sequoiadb_2.11-2.6.0.jar

  注意其中 SPARK_MASTER_IP =192.168.31.16 表示16机为主机，配置的端口为7077，默认内存为1024M（这个后面可以自己指定）

 在集群每台机器上都配置相同17,18机上和16机器上配置完全相同        

给  slaves文件中追加如下内容:

T-NL-HISDB01
T-NL-HISDB02
T-NL-HISDB03

是分别对应3台机的hostname

T-NL-HISDB01 192.168.31.16 

T-NL-HISDB02 192.168.31.17

T-NL-HISDB03 192.168.31.18



三、 配置spark环境变量

这里是配置在/home/sequoiadb中

vi ~/.bashrc

export PATH=$PATH:/opt/sequoiadb/bin:/home/sdbadmin/pgsql/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/sequoiadb/lib:/home/sdbadmin/pgsql/lib
export JAVA_HOME=/opt/java/jdk1.7.0_80
export SCALA_HOME=/opt/scala/scala-2.11.8
export SPARK_HOME=/opt/spark/spark-2.1.0-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH

使配置生效

source ~/.bastrc

查看是否生效

echo$PATH

配置成功会打印出环境变量

四、启动spark

切换到spark的sbin目录下，执行：

./start-all.sh

使用jps命令是显示当前所有java进程pid会发现有Java进程被启动

>jps

32394 Master
467 Jps
32491 Worker

切换到bin目录下，运行其中spark-sql：

bin/spark-sql

可以看到可以成功执行spark-sql，使用ctrl+c退出

执行sbin目录下的start-thriftsever.sh文件

sbin/start-thriftserver.sh  --master spark://192.168.31.16:7077   --total-executor-cores 2 --executor-memory 2

（其中192.168.31.16为master节点IP）
上面的配置为：
total-executor-cores 2 表示配置的spark core为2 c 

executor-memory 2g 表示配置的内存为 2g大小

此时使用JPS可以查看到如下：

31148 Master
31403 CoarseGrainedExecutorBackend
31437 Jps
31245 Worker
31338 SparkSubmit

发现java进程多了Sparksubmit和CoarseGrainedExecutorBackend ，表示集群已经启动成功。

在bin目录下执行./beeline，进入spark的beeline命令中：

/bin/beeline

目的是将SQL执行出的结果排序显示

进入beeline中， 使用jdbc连接数据库：

beeline>!connect jdbc:hive2://localhost:10000

按两次回车，（其中账户和密码为默认值），可以看到连接到localhost：10000

ctrl+c即可退出连接

五、进入spark后进行相关操作

显示spark中的库

show databases ;

进入库

use casName ;

进入的是cas库

在进入的库中显示表

show  tables;

spark查看表结构 

desc tablename;
desc formatted tablename; //此种方法可以查看到关联的Sequoiadb的相关信息

六、常见异常

1、操作spark的时候出现 jdbc  ：hive2://localhost:1000(closed)>show databases；

原因分析：

是因为连接beeline时候不是在master节点上操作的

首先使用jps查看  Master节点在那台机器上 ，

进入beeline模式后连接jdbc时指定master的IP进行连接：

! connect jdbc :hive2://192.168.31.16:10000

如果在master机器中操作可以将192.168.31.16换为localhost，其他work机器只能使用master机器的IP进行连接。

2、重新启动spark

在master机器上操作：

cd ../sbin
./stop-all.sh
./stop-thriftserver.sh
jps                        //用来查看spark集群是否已经停止
./start-all.sh
sbin/start-thriftserver.sh  --master spark://192.168.31.16:7077   --total-executor-cores 2 --executor-memory 2

七、spark映射Sequoiadb集合

映射集合

create table test.table(
field1                      double    ,
field2                      bigint  ,
field3                      int       ,
field4                      string
)USING com.sequoiadb.spark OPTIONS(host '192.168.31.16:11810', collectionspace 'cs', collection 'cl', username 'username', password 'password')

spark中关联表只是将long字段替换为 bigint 其他字段类型不用替换

db.cs.cl.find(); //在Sequoiadb中查找
select * from test.table ;  //在spark中查找

在Sequoiadb中进行的查询的内容和通过spark中查找出来的内容是相同时说明此时为映射可用。

想要了解更多Sequoiadb内容请访问：http://www.sequoiadb.com/cn/