原创:发布一个基于TokyoTyrant的C#客户端开源项目

目前在网上关于TokyoCabinet（以下简称TC）和TokyoTyrant（以下简称TT）的资料已相对丰富了，但在.NET平台上的客户端软件却相对匮乏，因为做Discuz!NT企业版的关系，两个月前开始接触TC和TT，开始写相关的客户端代码。
这里开放的是客户端主要功能代码，开源的目的一方面是希望更多的人来学习研究TC和TT，同时大家可以下载本C#源码继续优化提升性能，同时查找BUG，必定本人精力能力有限，而Discuz!NT企业版的功能点又太多（抽空会多写文章进行介绍）实在有些力不从心了，呵呵:)

好了，为了便于使用，下面先对源码中的项目文件进行说明：

源码包中包括三个项目：
1.Discuz.EntLib.TokyoTyrant 核心功能代码（目前名空间暂以产品命名）
2.TTSample 主要用于加载测试数据，并对比SQLSERVER数据库的创建查询功能的速度。
3.TTSampleConsole 使用核心功能代码的例子（本文中会介绍其中主要功能）

其中Discuz.EntLib.TokyoTyrant中类图如下：

ttserver -host 10.0.4.66 -port 11211 -thnum 1024 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 256m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tct#bnum=1000000#rcnum=1000000#xmsiz=1073741824 （注:1073741824=1G）

当然TTServer中针对不同的数据库（TC中支持6种），都有相应的参数进行启动配置（有重复），这会导致的查询和插入数据的结果上有很大的差异，更多的内容可以参见这个链接。

下面我将自己对TC+TT（仅使用TCT文件类型，其它5种类型都比这个类型快许多）与MONGODB的测试结果做一下说明：
机器是一个普遍台式机：1.5g内存+1.5gCPU，64位的centos机器，150g硬盘。

mongodb (centos 64bit) :
插入1000000 条记录，耗时:250377毫秒
对1000000条记录，查询10000 次记录，耗时:8100毫秒 （偶尔出现7500毫秒） (查询"_id"主键速度在6995毫秒上下)
对1000000条记录，查询100000 次记录，耗时:77101毫秒

ttcache(centos 64bit，使用上面的启动参数):
创建 1000000 条数据，耗时 589472毫秒
对1000000条记录，查询 10000 次数据，耗时 4843毫秒
对1000000条记录，查询 100000 次数据，耗时 47903毫秒

注:查询条件动态变化，以模拟实际生产环境。
比较发现MONGODB插入速度要比TTCACHE快至少一倍（MONGODB在WINDOWS下也是如此），但10000次查询速度会慢大约40%-50%。这里的查询和插入操作都是每做一次操作就Connect一次服务器,操作结束时则将当前链接放到链接池中，而不是开启一个长链接来做批量操作。其中TTSERVER所使用的客户端分别是本文的这个工具， MONGODB则使用的是MongoDB.Driver。

下面是MSSQL数据库操作结果：
批量创建 1000000 条数据，耗时 9020196毫秒
批量查询 10000 条数据，耗时 106040毫秒
批量查询 100000 条数据，耗时 773867毫秒

我想进行这类测试，还是不要使用什么WINDOWS（尽量MONGODB在WINDOW下插入数据的速度已很快）或其它操作系统。而应该使用LINUX（尽量是64位）。当然内存要尽量的大，因为尽管TC+TT已很省内存（必定符合日本的国情，资源少还要多办事），但如果要提升查询和插入速度，还是建议4g以上的内存做测
试。而MONGODB本来对内存要求很高（包括CPU）。

因为mongodb的插入速度非常快，且在数据库大量可以新建文件来存储新的数据(不像TCT使用一个数据文件），所以在更大级别的数据量插入上依然性能稳定。看来将它视为海量数据存储的分布解决方案还是很有可行性的。当然我目前正在考虑一个架构，就是将MongoDb和TC/TT组合起来，实现读写分离（即将TC作为读数据库slavedb，并发性和查询速度快），而将MongoDb作为写数据库masterdb（更新和插入速度快）。将分布式的MongoDb数据文件与前端TC中的文件依次对应（使用C#代码实现两者之间的数据同步和逻辑调用），这样融合两者各自的优势的结果。当然目前这只是想法，且离文本的内容越来越远了，呵呵。

好了，今天的内容就选到这里了。

下载链接：http://tokyotyrantclient.codeplex.com/