solrcloud分布式集群部署&zookeeper集群安装

Solrcloud集群搭建

使用solrcloud有几点需要注意的： 索引数据量比较大；配置是统一的（zookeeper会保持配置信息的一致性）

如果索引数据量不大，并且需求变动比较多，field要经常变动的可以考虑用multicore的模式。

规划

虚拟机环境centos6.2 64位系统 三台1G内存的虚机 网卡模式是NAT（测试环境推荐使用NAT）

192.168.139.121 master

192.168.139.122 slave1

192.168.139.123 slave2

修改 /etc/hosts 文件加入上面的域名

修改主机名 vi /etc/sysconfig/network

切记关闭防火墙(否则zookeeper启动 zkServer.sh status查看状态会找不到各自的角色)

首先要搭建的是zookeeper集群

Zookeeper集群的机器个数推荐是奇数台，半数机器挂掉，服务是可以正常提供的

所有需要的软件首先上传到 /soft下

使用的zookeeper.3.4.5.tar.gz 稳定版

tar –zxvf zookeeper.3.4.5.tar.gz

cd zookeeper.3.4.5/conf

mv zoo_sample.cfg zoo.cfg //修改配置文件名

mkdir /soft/zookeeper-data //zookeeper的数据存储位置

mkdir /soft/zookeeper-data/logs //zookeeper的日志文件位置

vi /zookeeper.3.4.5/conf/zoo.cfg

修改

dataDir=/soft/zookeeper-data

dataLogDir=/soft/zookeeper-data/logs

//添加zookeeper的集群配置

server.1=192.168.139.121:2888:3888

server.2=192.168.139.122:2888:3888

server.3=192.168.139.123:2888:3888

或者用域名

server.1=master:2888:3888

server.2=slave1:2888:3888

server.3=slave2:2888:3888

然后分别在每台机器的/soft/zookeeper-data 下创建myid文件存储该机器的标识码 比如server.1 的标识码就是 “1” myid文件的内容就一行 “1”

配置完一台可以使用scp 把配置发到其他两台（使用scp前提是配置了无密钥通信的机器之间,省的来回换机子麻烦）。

Scp –r /soft/zookeeper.3.4.5
master@slave1:/soft/zookeeper.3.4.5

Scp –r /soft/zookeeper.3.4.5 master@slave2:/soft/zookeeper.3.4.5

或者每台手动做修改

配置完成启动服务(启动切记关闭所有的防火墙，不然启动状态会没有角色说明)

Cd /soft/zookeeper.3.4.5/bin

./zkServer.sh start

//查看启动状态

./zkServer.sh status









查看启动的监听客户端的端口是2181 默认

Mode:leader表示的是该zookeeper在集群中的角色

像上述这样表名zookeeper的集群启动成功。

Solrcloud分布式集群

解压D:\apache-solr-4.3.0\example\webapps\solr.war

并将solr-4.3.1\example\lib\ext下面的jar 拷贝到解压后的solr/WEB-INF/lib下

创建/usr/local/solrcloud目录

在目录/usr/local/solrcloud/config-files 放置solr的所有配置文件比如solrconfig.xml

该目录下的所有配置文件是 D:\apache-solr-4.3.0\example\solr\collection1\conf 下的所有文件

schema.xml 等

在目录/usr/local/solrcloud/solr-lib放置solr/WEB-INF/lib下的所有jar包

将整理好的solr项目拷贝到/soft/apache-tomcat-6.0.37/webapps下

创建solr的数据目录/soft/solr-cores

并在该目录下生成solr.xml solr的核配置文件

<?xml version="1.0" encoding="UTF-8" ?>

<solr persistent="true">

<logging enabled="true">

<watcher size="100" threshold="INFO" />

</logging>

<cores adminPath="/admin/cores" host="${host:}" hostPort="8080" hostContext="${hostContext:solr}" zkClientTimeout="${zkClientTimeout:15000}">

</cores>

</solr>

在/soft/apache-tomcat-6.0.37/conf/Catalina/localhost

创建solr.xml

Solr/home的配置文件

<?xml version="1.0" encoding="UTF-8"?>

<Context docBase="/soft/apache-tomcat-6.0.37/webapps/solr" debug="0" crossContext="true">

<Environment name="solr/home" type="java.lang.String" value="/soft/solr-cores" override="true"/>

</Context>

同时修改tomcat/bin/cataina.sh

JAVA_OPTS="-DzkHost=master:2188,slave1:2188,slave2:2188"





把修改好的tomcat 打包tomcat.zip 发送到slave1,slave2

Scp tomcat.zip root@slave1:/soft/

Scp tomcat.zip root@slave2:/soft/

./zkCli.sh -server master:2188 //连接zookeeper查看上面的文件存储情况





上传配置文件到zookeeper

java -classpath .:/usr/local/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost master:2188 -confdir /usr/local/solrcloud/config-files/ -confname myconf

连接zookeeper的配置内容

java -classpath .:/usr/local/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd linkconfig -collection collection -confname myconf -zkhost master:2188

cd apache-tomcat-6.0.37/bin

./startup.sh

访问solr url:http://192.168.139.121:8080/solr

因为没有穿件任何核和节点所以 会有如下的提示页





//创建数据集collection 并指定 分片数，冗余节点数

curl 'http://192.168.139.121:8080/solr/admin/collections?action=CREATE&

name=mycollection&numShards=1&replicationFactor=1&maxShardsPerNode=1’

生成的节点信息 （单节点的）





多节点

三台机器的情况：

java -classpath .:/usr/local/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost master:2188,slave1:2188,slave2:2188 -confdir /usr/local/solrcloud/config-files/ -confname myconf

连接zookeeper的配置信息

java -classpath .:/usr/local/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd linkconfig -collection collection -confname myconf -zkhost master:2188,slave1:2188,slave2:2188

创建collection 指定最多3个分片和冗余节点

curl 'http://192.168.139.121:8080/solr/admin/collections?action=CREATE&name=collection&numShards=3&replicationFactor=3&maxShardsPerNode=3'

执行完无报错信息 说明成功了





建好的collection 还创建未分片





正常的创建效果应该是这样的

/soft/solr-cores/下会多出索引的存储目录





创建分片和副本

//122，123上

//创建121的分片和副本

curl 'http://192.168.139.122:8080/solr/admin/cores?action=CREATE&name=collection_shard1_replica_2&collection=collection&shard=shard1'

curl 'http://192.168.139.123:8080/solr/admin/cores?action=CREATE&name=collection_shard1_replica_2&collection=collection&shard=shard1'

//121,123

//创建122的分片和副本

curl 'http://192.168.139.121:8080/solr/admin/cores?action=CREATE&name=collection_shard2_replica_2&collection=collection&shard=shard2'

curl 'http://192.168.139.123:8080/solr/admin/cores?action=CREATE&name=collection_shard2_replica_2&collection=collection&shard=shard2'

//122,121

//创建123的分片和副本

curl 'http://192.168.139.121:8080/solr/admin/cores?action=CREATE&name=collection_shard3_replica_3&collection=collection&shard=shard3'

curl 'http://192.168.139.122:8080/solr/admin/cores?action=CREATE&name=collection_shard3_replica_3&collection=collection&shard=shard3'