redis分区：

分区就是将数据分散到多个redis实例中，每个redis实例只保存一部分数据

分区/分片的意义:

单机的机器存储容量会限制redis的服务能力，为了存储的横向扩展，可以将数据分散到多台机器上

[code]ShardedJedis是通过一致性哈希来实现将不同的key分散到不同的redis server中

shareJedis使用：

[code]@Test
public void test3() {
//设置连接池的相关配置
JedisPoolConfig poolConfig = new JedisPoolConfig();
poolConfig.setMaxTotal(2);
poolConfig.setMaxIdle(1);
poolConfig.setMaxWaitMillis(2000);
poolConfig.setTestOnBorrow(false);
poolConfig.setTestOnReturn(false);
//定义redis的多个节点机器
List<JedisShardInfo> list = new ArrayList<JedisShardInfo>() {{
add(new JedisShardInfo("127.0.0.1", 6379));
add(new JedisShardInfo("127.0.0.1", 6380));
add(new JedisShardInfo("127.0.0.1", 6381));
}};
//定义redis分片连接池
ShardedJedisPool jedisPool = new ShardedJedisPool(poolConfig, list);

//获取连接操作redis 进行查询等其他操作
//使用后一定关闭，还给连接池
try (ShardedJedis jedis = jedisPool.getResource()) {
//向redis中添加20个记录查看分片结果
for (int i = 0; i < 10; i++) {
//增加的记录格式为   key=NUM_i   value=i
jedis.set("NUM_" + i, "" + i);
jedis.get("NUM_" + i);
}
}

}

测试数据分布情况

分布情况是根据shareJedis中对key进行一致性哈希来确定记录的存放区域

shareJedis讲解

1.继承体系

shareJedis存储数的核心代码：

[code]    private final Map<ShardInfo<R>, R> resources = new LinkedHashMap<ShardInfo<R>, R>();

public String set(final String key, final String value) {
Jedis j = getShard(key);
return j.set(key, value);
}

public R getShard(String key) {
return resources.get(getShardInfo(key));
}

public S getShardInfo(String key) {
return getShardInfo(SafeEncoder.encode(getKeyTag(key)));
}

public S getShardInfo(byte[] key) {
SortedMap<Long, S> tail = nodes.tailMap(algo.hash(key));
if (tail.isEmpty()) {
return nodes.get(nodes.firstKey());
}
return tail.get(tail.firstKey());
}

主要的操作是：Jedis j = getShard(key);获取对应的jedis实例，方法（getShardInfo(byte[] key)）nodes是个treeMap，algo是Hashing类型，key分片所使用的hash算法,主要步骤：

1.从treeMap中取出大于等于key之后的部分视图SortMap

2.从sortMap取出第一个键值对的值，对象S

3.从resource中取出R(Map<ShardInfo<R>, R> resources = new LinkedHashMap<ShardInfo<R>, R>();)

根据下面的代码发现 S是JesdisShareInfo，R就是redis实例

[code]public class BinaryShardedJedis extends Sharded<Jedis, JedisShardInfo> implements
BinaryJedisCommands {}

public class Sharded<R, S extends ShardInfo<R>>{}

 

JedisShardInfo具体信息如下：里面包含了jedis服务器的一些信息，最重要的是它的父类中有一个weight字段，作为本jedis服务器的权值，实际是根据存储的jedis信息去获取jedis的实例

整体的存储流程：

1.将key值进行hash算法，然后根据这个hash出来的key从treeMap中获取jedisShareInfo

2.根据jedisShareInfo中的信息获取jedis实例，最终返回，执行操作

 

[code]    private void initialize(List<S> shards) {
nodes = new TreeMap<Long, S>();

for (int i = 0; i != shards.size(); ++i) {
final S shardInfo = shards.get(i);
if (shardInfo.getName() == null) for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {
nodes.put(this.algo.hash("SHARD-" + i + "-NODE-" + n), shardInfo);
}
else for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {
nodes.put(this.algo.hash(shardInfo.getName() + "*" + n), shardInfo);
}
resources.put(shardInfo, shardInfo.createResource());
}
}

Shared中的初始化方法， 将每台服务器节点采用hash算法划分为160个虚拟节点(可以配置划分权重)，保存在TreeMap中，

然后把每台服务器节点的信息和物理连接以键值对保存LinkedHashMap中。

[code]shardInfo.createResource()根据shareInfo中存储的redis创建redis实例信息

其中初始化方法调用实在 ShardedJedis jedis = jedisPool.getResource() 这里进行初始化的，实际是通过连接池来实现的，具体感兴趣的可以自己调试一下

ShardedJedis分布式具体的的实现思路：

• redis服务器节点划分：将每台服务器节点采用hash算法划分为160个虚拟节点(可以配置划分权重)

• 将划分虚拟节点采用TreeMap存储

• 对每个redis服务器的物理连接采用LinkedHashMap存储

• 对Key or KeyTag 采用同样的hash算法，然后从TreeMap获取大于等于键hash值得节点，取最邻近节点存储；当key的hash值大于虚拟节点hash值得最大值时，存入第一个虚拟节点

• sharded采用的hash算法：MD5 和 MurmurHash两种；默认采用64位的MurmurHash算法；

分区的不足：

1. 分区是多台redis共同作用的，如果其中一台出现了宕机现象，则整个分片都将不能使用，虽然是在一定程度上缓减了内存的压力，但是没有实现高可用。
2. 涉及多个key的操作通常是不被支持的。举例来说，当两个set映射到不同的redis实例上时，你就不能对这两个set执行交集操作。
3. 涉及多个key的redis事务不能使用。
4. 当使用分区时，数据处理较为复杂，比如你需要处理多个rdb/aof文件，并且从多个实例和主机备份持久化文件。

　　高可用的解决方案：可以采用哨兵机制实现主从复制从而实现高可用。

博主初次涉猎，如果有什么问题以及说的不明白的，请留言告知 一起交流提升

欢迎关注作者公众号交流以及投稿

守望希望 原创文章 10获赞 0访问量 841 关注 私信