SequoiaDB的数据分区操作

在SequoiaDB集群环境中，用户往往将数据存放在不同的逻辑节点与物理节点中，以达到并行计算的目的。





分区：把包含相同数据的一组数据节点叫一个分区，如上图绿色方块组成三个分区。
分区键：切分时，所依据的字段称为分区键。

SequoiaDB包含范围分区和Hash分区，根据上图所示进行部署，分别介绍两种分区的实际操作。

分配三台机器用于建立该集群，IP分配如下：

192.168.9.181

192.168.9.182

192.168.9.183

配置IP与主机名的对应关系如下：

192.168.9.181  bl465-1

192.168.9.182  bl465-2

192.168.9.183  bl465-3

然后规划主机与节点之间的对应关系如下：

coord（协调）节点：192.168.9.181 50000

catalog（编目）节点：192.168.9.182 30000

3个数据组，9个数据节点：

datagroup1

192.168.9.181 51000

192.168.9.182 51000

192.168.9.183 51000

datagroup2

192.168.9.181 52000

192.168.9.182 52000

192.168.9.182 52000

datagroup3

192.168.9.181 53000

192.168.9.182 53000

192.168.9.182 53000

请参照SequoiaDB官网的其它文章完成该集群的安装。

范围分区

1.创建集合时，指定分区类型为range和分区键{no:1}

>db.test.createCL(‘test’,{ShardingKey:{no:1},ShardingType:’range’})

localhost:50000.test.test

Take 2.431560s

2.确定当前集合所落的数据组，该数据组是切分的源，当前为datagroup2

> db.snapshot(4)

{

“Name”: ”test.test”,

“Details”: [

{

"GroupName": "datagroup2",

"Group": [

{

"ID": 0,

"LogicalID": 0,

"Sequence": 1,

"Indexes": 2,

"Status": "Normal",

"NodeName": "bl465-1:52000"

},

{

"ID": 0,

"LogicalID": 0,

"Sequence": 1,

"Indexes": 2,

"Status": "Normal",

"NodeName": "bl465-2:52000"

},

{

"ID": 0,

"LogicalID": 0,

"Sequence": 1,

"Indexes": 2,

"Status": "Normal",

"NodeName": "bl465-3:52000"

}

]

}

]

}

Return 1 row(s).

Takes 0.297931s.

3.切分，当前将no为[0,3333)之间的数据安排在datagroup1上，将no为[6666, ∞)之间的数据安排在datagroup3上，其它数据落在datagroup2上

> db.test.test.split("datagroup2", "datagroup1", {no:0},{no:3333})

Takes 0.4176s.

> db.test.test.split("datagroup2","datagroup3", {no:6666})

Takes 0.18957s.

4.查看数据分布情况

> db.snapshot(8)

{

"CataInfo": [

{

"GroupID": 1001,

"GroupName": "datagroup2",

"LowBound": {

"": {

"$minKey": 1

}

},

"UpBound": {

"": 0

}

},

{

"GroupID": 1000,

"GroupName": "datagroup1",

"LowBound": {

"": 0

},

"UpBound": {

"": 3333

}

},

{

"GroupID": 1001,

"GroupName": "datagroup2",

"LowBound": {

"": 3333

},

"UpBound": {

"": 6666

}

},

{

"GroupID": 1002,

"GroupName": "datagroup3",

"LowBound": {

"": 6666

},

"UpBound": {

"": {

"$maxKey": 1

}

}

}

],

“EnsureShardingIndex”: true,

“Name”: ”test.test”,

“ReplSize”: 1,

“ShardingKey”: {

“no”: 1

},

“ShardingType”: ”range”,

“Version”: 3,

“_id”: {

“$oid”: ”52665351fe13241aaa547a7f”

}

}

Return 1 row(s).

Takes 0.10201s.

5.插入数据，验证结果。

> for (i=0; i <10000; ++i){db.test.test.insert({no:i,nm:”name”+i, age:18 + i%3})}

Takes 3.418974s.

> db.getRG(‘datagroup1′).getMaster()

bl465-3:51000

Takes 0.2193s.

>datadb = new Sdb(‘ bl465-3′, 51000)

bl465-3:51000

Takes 4.4294532096s.

> datadb.test.test.find().sort({no:1}).limit(1)

{

“_id”: {

“$oid”: ”526655307a9e237453000000″

},

“no”: 0,

“nm”: ”name0″,

“age”: 18

}

Return 1 row(s).

Takes 0.1231s.

> datadb.test.test.find().sort({no:-1}).limit(1)

{

“_id”: {

“$oid”: ”526655317a9e237453000d04″

},

“no”: 3332,

“nm”: ”name3332″,

“age”: 20

}

Return 1 row(s).

Takes 0.1231s.

Hash分区

1.创建集合指定分区类型为hash和分区键{no:1}

> db.tst.createCL(‘tst’,{ShardingType:’hash’, ShardingKey:{no:1}})

localhost:50000.tst.tst

Takes 4.4294289444s.

2.确定当前集合所落的数据组，该数据组是切分的源，当前为datagroup2

> db.snapshot(4)

{

“Name”: ”tst.tst”,

“Details”: [

{

"GroupName": "datagroup2",

"Group": [

{

"ID": 0,

"LogicalID": 0,

"Sequence": 1,

"Indexes": 2,

"Status": "Normal",

"NodeName": "bl465-1:52000"

},

{

"ID": 0,

"LogicalID": 0,

"Sequence": 1,

"Indexes": 2,

"Status": "Normal",

"NodeName": "bl465-3:52000"

},

{

"ID": 0,

"LogicalID": 0,

"Sequence": 1,

"Indexes": 2,

"Status": "Normal",

"NodeName": "bl465-2:52000"

}

]

}

]

}

3.切分，针对分区键hash后落在分片[0,1365]之间的数据指定到datagroup1，针对分区键hash后落在分片[1365,2370]之间的数据指定到datagroup3，其它分片上的数据保留在datagroup2上。

> db.tst.tst.split(“datagroup2″, ”datagroup1″,{Partition:0},{Partition:1365})

Takes 0.2765s.

> db.tst.tst.split(“datagroup2″, ”datagroup3″,{Partition:1365},{Partition:2370})

Takes 0.2609s.

4.查看数据分布

> db.snapshot(8)

{

“CataInfo”: [

{

"GroupID": 1000,

"GroupName": "datagroup1",

"LowBound": {

"": 0

},

"UpBound": {

"Partition": 1365

}

},

{

"GroupID": 1002,

"GroupName": "datagroup3",

"LowBound": {

"Partition": 1365

},

"UpBound": {

"Partition": 2730

}

},

{

"GroupID": 1001,

"GroupName": "datagroup2",

"LowBound": {

"Partition": 2730

},

"UpBound": {

"": 4096

}

}

],

“EnsureShardingIndex”: true,

“Name”: ”tst.tst”,

“Partition”: 4096,

“ReplSize”: 1,

“ShardingKey”: {

“no”: 1

},

“ShardingType”: ”hash”,

“Version”: 3,

“_id”: {

“$oid”: ”5266d55efe13241aaa547a8f”

}

}

Return 1 row(s).

Takes 1.4294635948s.

5.插入数据，验证结果

插入4096条记录

> for (i = 0; i <4096; ++i) {db.tst.tst.insert({no:i,stu:”nm”+i,age:18+i%3})}

测试记录的分布情况

数据组 datagroup1

> db.getRG(‘datagroup1′).getMaster()

bl465-3:51000

Takes 1.4294407727s.

> datadb = new Sdb(‘bl465-3′,51000)

bl465-3:51000

Takes 0.24866s.

> datadb.tst.tst.count()

1355

数据组 datagroup2

> db.getRG(‘datagroup2′).getMaster()

bl465-2:52000

Takes 0.2485s.

> datadb = new Sdb(‘bl465-2′,52000)

bl465-2:52000

Takes 0.183708s.

> datadb.tst.tst.count()

1356

数据组 datagroup3

> db.getRG(‘datagroup3′).getMaster()

bl465-2:53000

Takes 0.188564s.

> datadb = new Sdb(‘bl465-2′,53000)

bl465-2:53000

Takes 0.195282s.

> datadb.tst.tst.count()

1385

Takes 0.20218s.

组所占分片数的比例与数据所占比例基本持平，则认为hash分布是比较均衡的。

小结：

需要注意的点：

1.在创建CL时，必须指定ShardingKey。

2.插入的记录必须含指定的ShardingKey才能实现切分。

3.分区键不存在时，split操作会导致数据全量转移。

4.范围切分中的百分比切分，要求集合不能为空。

5.百分比切分，是基于原数据组中的数据量而言的。

6.hash分区，要求分片数其值必须是2的幂。