Linux --- SolrCloud集群搭建

一、SolrCloud概述
    SolrCloud(solr 云)是 Solr 提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用 SolrCloud 来满足这些需求。

    SolrCloud 是基于 Solr 和Zookeeper的分布式搜索方案，它的主要思想是使用 Zookeeper作为集群的配置信息中心。
它有几个特色功能：

集中式的配置信息
自动容错
近实时搜索
查询时自动负载均衡

二、SolrCloud系统架构



2.1、物理结构
三个 Solr 实例（ 每个实例包括两个 Core），组成一个 SolrCloud。

2.2、逻辑结构
    索引集合包括两个 Shard（shard1 和 shard2），shard1 和 shard2 分别由三个 Core 组成，其中一个 Leader 两个 Replication，Leader 是由 zookeeper 选举产生，zookeeper 控制每个shard上三个 Core 的索引数据一致，解决高可用问题。
用户发起索引请求分别从 shard1 和 shard2 上获取，解决高并发问题。

(1)Collection  
    Collection 在 SolrCloud 集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个 Shard（分片），它们使用相同的配置信息。
比如：针对商品信息搜索可以创建一个 collection。
collection=shard1+shard2+....+shardX

(2)Core 
    每个 Core 是 Solr 中一个独立运行单位，提供 索引和搜索服务。一个 shard 需要由一个Core 或多个 Core 组成。由于 collection 由多个 shard 组成所以 collection 一般由多个 core 组成。

(3)Master 或 Slave
    Master 是 master-slave 结构中的主结点（通常说主服务器），Slave 是 master-slave 结构中的从结点（通常说从服务器或备服务器）。同一个 Shard 下 master 和 slave 存储的数据是一致的，这是为了达到高可用目的。

(4)Shard
    Collection 的逻辑分片。每个 Shard 被化成一个或者多个 replication，通过选举确定哪个是 Leader。

三、SolrCloud搭建

3.1、 环境VM CentOS7
分配2台虚拟机用于搭建SolrCloud
CentOS04：192.168.1.102
CentOS05：192.168.1.106

注意：CentOS01-CentOS03用于搭建Zookeeper集群

3.2、搭建准备步骤
(1) Linux安装Tomcat --- 略过
(2) Tomcat安装Solr、IK等 --- 略过
(3) 在Linux中创建文件夹mkdir /usr/local/solr-cloud(4) 复制已经配置好Solr的tomcat至solr-cloud --- CentOS04和CentOS05都执行该操作
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-1
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-2(5) 在Linux中创建solrhomes --- CentOS04和CentOS05都执行该操作mkdir /usr/local/solrhomes(6) 复制已经配置的solrhomecp -r solrhome /usr/local/solrhomes/solrhome-1
cp -r solrhome /usr/local/solrhomes/solrhome-2(7) 进入/usr/local/solr-cloud/tomcat-1/webapps/solr/WEB-INF，修改web.xml的solrhome配置，其他tomcat配置同理<env-entry>
<env-entry-name>solr/home</env-entry-name>
<env-entry-value>/usr/local/solrhomes/solrhome-1</env-entry-value>
<env-entry-type>java.lang.String</env-entry-type>
</env-entry>(8) 修改tomcat-1端口，其他tomcat端口修改同理<Server port="8105" shutdown="SHUTDOWN">
....
<Connector port="8180" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" />
....
<Connector port="8109" protocol="AJP/1.3" redirectPort="8443" />
....说明：
(1) 第一个端口是tomcat服务器关闭端口
(2) 第二个端口是tomcat访问端口
(3) 第三个端口是tomcat与apche交互端口

3.3、搭建步骤

(1) 在tomcat-1/bin目录中修改catalina.sh文件配置 --- 其他tomcat修改同理
把JAVA_OPTS的值修改成：(配置大概在234行)JAVA_OPTS="-DzkHost=192.168.1.103:2181,192.168.1.104:2181,192.168.1.105:2181"JAVA_OPTS ,顾名思义,是用来设置JVM相关运行参数的变量 .  此配置用于在tomcat启动时找到 zookeeper集群。
(2) 修改/solrhomes/solrhome-1的solr.xml文件 --- 其他solr.xml修改同理<solr>

<solrcloud>
<str name="host">192.168.1.102</str>
<int name="hostPort">8180</int>
<str name="hostContext">${hostContext:solr}</str>
<int name="zkClientTimeout">${zkClientTimeout:30000}</int>
<bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
</solrcloud>

<shardHandlerFactory name="shardHandlerFactory"
class="HttpShardHandlerFactory">
<int name="socketTimeout">${socketTimeout:0}</int>
<int name="connTimeout">${connTimeout:0}</int>
</shardHandlerFactory>

</solr>配置说明：
host：指向的是tomcat-1的主机名
hostPort：指向的是tomcat-1的port端口号
(3)让zookeeper 统一管理配置文件。--- 只需要执行一次即可，任意collection
需要把 solrhome下collection1/conf 目录上传到zookeeper。上传任意 solrhome 中的配置文件即可。

我们需要使用solr给我们提供的工具上传配置文件：
solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

将solr-4.10.3压缩包上传到linux，解压tar zxvf solr-4.10.3
然后进入
solr-4.10.3/example/scripts/cloud-scripts目录 ，执行下列命令./zkcli.sh -zkhost 192.168.1.103:2181,192.168.1.104:2181,192.168.1.105:2181 -cmd upconfig -confdir /usr/local/solrhomes/solrhome-1/collection1/conf -confname myconf说明：
-zkhost --- 指定zookeeper地址列表
-cmd --- 指定命令。upconfig 为上传配置的命令
-confdir --- 配置文件所在目录
-confname --- 配置名称

(4) 启动solr，即启动tomcat
如果遇到没有授权，授权即可chmod -R 777 /usr/local/solr-cloud(5) 访问solr http://192.168.1.102:8180/solr，如果出现cloud说明集群搭建成功，如下图：(异常可以忽略，与集群搭建无关)


四、应用程序连接SolrCloud集群

    在SolrJ中提供一个叫做CloudSolrServer的类，它是SolrServer的子类，用于连接
solrCloud ，它的构造参数就是zookeeper的地址列表，另外它要求要指定
defaultCollection属性（默认的 collection名称）<!-- solr服务器地址
<solr:solr-server id="solrServer" url="http://192.168.25.129:8080/solr" />
-->
<bean id="solrServer" class="org.apache.solr.client.solrj.impl.CloudSolrServer">
<constructor-arg value="192.168.1.103:2181,192.168.1.104:2181,192.168.1.105:2181" />
<property name="defaultCollection" value="collection1"></property>
</bean>

五、分片配置
(1) 创建新的Collection进行分片处理
在浏览器输入以下地址，创建新的Collection http://192.168.1.102:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2参数说明：
name:将被创建的集合的名字
numShards:集合创建时需要创建逻辑碎片的个数
replicationFactor:分片的副本数。
(2) 删除不用的 Collection。执行以下命令http://192.168.1.102:8180/solr/admin/collections?action=DELETE&name=collection1