.NET JAVA PHP中写入及读取memcache中数据不一致问题
2012-05-31 16:35
435 查看
如题,公司现在有asp网站,有java工程,未来需要逐步把asp网站改成php网站,公司缓存使用memcache及redis,
目前asp 是通过调用.NET开发的com+组件读取写入数据到memcache中,原来没发现什么问题,最近手里有个工程用java做的,发现java和.NET 组件对memcach操作后,数据得到的不一致甚至得不到数据。.NET组件使用的开源代码,我选择的版本是:beitmemcached,项目地址:http://code.google.com/p/beitmemcached/
java使用的是java_memcached-release_2.5.2.jar
php使用的是http://pecl.php.net/package/memcached
通过telnet memcache服务及memcache协议发现flag不一致,进一步分析源码,得到以下不同:
.NET
internal enum SerializedType : ushort
{
ByteArray = 0,
Object = 1,
String = 2,
Datetime = 3,
Bool = 4,
//SByte = 5, //Makes no sense.
Byte = 6,
Short = 7,
UShort = 8,
Int = 9,
UInt = 10,
Long = 11,
ULong = 12,
Float = 13,
Double = 14,
CompressedByteArray = 255,
CompressedObject = 256,
CompressedString = 257,
}
JAVA:
public static final int MARKER_BYTE = 1;
public static final int MARKER_BOOLEAN = 8192;
public static final int MARKER_INTEGER = 4;
public static final int MARKER_LONG = 16384;
public static final int MARKER_CHARACTER = 16;
public static final int MARKER_STRING = 32;
public static final int MARKER_STRINGBUFFER = 64;
public static final int MARKER_FLOAT = 128;
public static final int MARKER_SHORT = 256;
public static final int MARKER_DOUBLE = 512;
public static final int MARKER_DATE = 1024;
public static final int MARKER_STRINGBUILDER = 2048;
public static final int MARKER_BYTEARR = 4096;
public static final int F_COMPRESSED = 2;
public static final int F_SERIALIZED = 8;
修改了.NET中部分flag定义,考虑到每种语言的不同性,所以只保证简单的字符串能够在各语言中通用,把 String = 2,改为 String = 32,
我修改整理后的BelTMemcached项目地址(带演示Demo代码) :(下载)
这样也能保证php中没问题。php在$mem->set(key,value,32);这个32是必须的(表示字符串)。对象的话可以转为json再存到memcache中去,(这是使用pecl中memcache这个客户端的情况)
另外关于hash算法的,考虑到通用,使用crc32来做hash算法,需要修改ServerPool中
internal ServerPool(string[] hosts) {
List<SocketPool> pools = new List<SocketPool>();
foreach(string host in hosts) {
SocketPool pool = new SocketPool(this, host.Trim());
pools.Add(pool);
}
hostList = pools.ToArray();
}
internal SocketPool GetSocketPool(uint hash) {
if (hostList.Length == 1) {
return hostList[0];
}
return hostList[hash % hostList.Length];
}
及MemcachedClient中hash方法的代码为使用crc32
写到这问题并没有完全解决,当使用http://pecl.php.net/package/memcache做php客户端的情况,这个客户端不支持选择自己需要的hash算法,并且此客户端已经很久没有更新了。
首推使用http://pecl.php.net/package/memcached做php客户端,问题还没完,进过测试发现这样的情况:
java写入,php、.net均可正常读取
.net写入,php、java均可正常读取
php写入,java无法正常读取,.net可正常读取,
分 析源代码发现,这个php客户端写入数据的时候,flag总设置为0,没有设置成我们需要的,为了保证三大语言均能正常读取写入,我们可以更改源代码 php_memcached.c中的static void php_memc_store_impl(INTERNAL_FUNCTION_PARAMETERS,
int op, zend_bool by_key)方法,在switch(op)增加一行代码 flags = 32;这样设置后,phpize、./configure、make、make install。
这样设置有个前提,所有存入memcache中的对象均需序列号,数据读取出来后再反序列化即可,当然,其它简单数据类型也需要转换成字符串才能存入到memcache中去。
目前asp 是通过调用.NET开发的com+组件读取写入数据到memcache中,原来没发现什么问题,最近手里有个工程用java做的,发现java和.NET 组件对memcach操作后,数据得到的不一致甚至得不到数据。.NET组件使用的开源代码,我选择的版本是:beitmemcached,项目地址:http://code.google.com/p/beitmemcached/
java使用的是java_memcached-release_2.5.2.jar
php使用的是http://pecl.php.net/package/memcached
通过telnet memcache服务及memcache协议发现flag不一致,进一步分析源码,得到以下不同:
.NET
internal enum SerializedType : ushort
{
ByteArray = 0,
Object = 1,
String = 2,
Datetime = 3,
Bool = 4,
//SByte = 5, //Makes no sense.
Byte = 6,
Short = 7,
UShort = 8,
Int = 9,
UInt = 10,
Long = 11,
ULong = 12,
Float = 13,
Double = 14,
CompressedByteArray = 255,
CompressedObject = 256,
CompressedString = 257,
}
JAVA:
public static final int MARKER_BYTE = 1;
public static final int MARKER_BOOLEAN = 8192;
public static final int MARKER_INTEGER = 4;
public static final int MARKER_LONG = 16384;
public static final int MARKER_CHARACTER = 16;
public static final int MARKER_STRING = 32;
public static final int MARKER_STRINGBUFFER = 64;
public static final int MARKER_FLOAT = 128;
public static final int MARKER_SHORT = 256;
public static final int MARKER_DOUBLE = 512;
public static final int MARKER_DATE = 1024;
public static final int MARKER_STRINGBUILDER = 2048;
public static final int MARKER_BYTEARR = 4096;
public static final int F_COMPRESSED = 2;
public static final int F_SERIALIZED = 8;
修改了.NET中部分flag定义,考虑到每种语言的不同性,所以只保证简单的字符串能够在各语言中通用,把 String = 2,改为 String = 32,
我修改整理后的BelTMemcached项目地址(带演示Demo代码) :(下载)
这样也能保证php中没问题。php在$mem->set(key,value,32);这个32是必须的(表示字符串)。对象的话可以转为json再存到memcache中去,(这是使用pecl中memcache这个客户端的情况)
另外关于hash算法的,考虑到通用,使用crc32来做hash算法,需要修改ServerPool中
internal ServerPool(string[] hosts) {
List<SocketPool> pools = new List<SocketPool>();
foreach(string host in hosts) {
SocketPool pool = new SocketPool(this, host.Trim());
pools.Add(pool);
}
hostList = pools.ToArray();
}
internal SocketPool GetSocketPool(uint hash) {
if (hostList.Length == 1) {
return hostList[0];
}
return hostList[hash % hostList.Length];
}
及MemcachedClient中hash方法的代码为使用crc32
写到这问题并没有完全解决,当使用http://pecl.php.net/package/memcache做php客户端的情况,这个客户端不支持选择自己需要的hash算法,并且此客户端已经很久没有更新了。
首推使用http://pecl.php.net/package/memcached做php客户端,问题还没完,进过测试发现这样的情况:
java写入,php、.net均可正常读取
.net写入,php、java均可正常读取
php写入,java无法正常读取,.net可正常读取,
分 析源代码发现,这个php客户端写入数据的时候,flag总设置为0,没有设置成我们需要的,为了保证三大语言均能正常读取写入,我们可以更改源代码 php_memcached.c中的static void php_memc_store_impl(INTERNAL_FUNCTION_PARAMETERS,
int op, zend_bool by_key)方法,在switch(op)增加一行代码 flags = 32;这样设置后,phpize、./configure、make、make install。
这样设置有个前提,所有存入memcache中的对象均需序列号,数据读取出来后再反序列化即可,当然,其它简单数据类型也需要转换成字符串才能存入到memcache中去。
相关文章推荐
- php从memcache读取数据再批量写入mysql的方法
- php从memcache读取数据再批量写入mysql的方法
- php从memcache读取数据再批量写入mysql的方法
- 解决PHP写入、读取MYSQL数据库数据中文乱码问题
- php从memcache读取数据再批量写入mysql的方法
- php从memcache读取数据再批量写入mysql的方法
- Java 实现Excel表数据的读取和写入 以及过程中可能遇到的问题
- PHP大数据文本读取与写入
- 关于PHP读取sql server varchar数据丢失的问题
- PHP 从数据库Mysql中读取数据生成excel(解决乱码问题,解决中文变问号问题)
- php excel 读取日期问题 在 php excel 读取 xls 格式的文件时,xls 上面显示的是正常的日期格式 但是读取出来的话,就会是一个万位整形数据,这显然不是我们想要的日
- java读写properties文件,解决系统找不到指定路径,解决写入后读取正常,但文件数据未更新问题
- php 读取文件内容与向文件写入数据
- PHP相关系列 - php缓存扩展频繁存储/读取数组引发CPU过高问题排查手记(php-memcache为例)
- Session保存到Memcache中,解决读取数据慢问题
- php file_put_contents() 读取数据不换行问题
- PHP读取EXCEL时写入数据乱码解决办法
- php 将文件A逐行读取后提取部分数据写入另一个文件B
- 在线迁移中tapdisk2读取的数据不一致问题
- php管理后台内容写入数据库,前台数据读取于数据库