初学Redis（2）——用Redis作为Mysql数据库的缓存
2015-12-14 21:01
459 查看
http://blog.csdn.net/qtyl1988/article/details/39519951
用Redis作Mysql数据库缓存，必须解决2个问题。首先，应该确定用何种数据结构存储来自Mysql的数据；在确定数据结构之后，还要考虑用什么标识作为该数据结构的键。
直观上看，Mysql中的数据都是按表存储的；更微观地看，这些表都是按行存储的。每执行一次select查询，Mysql都会返回一个结果集，这个结果集由若干行组成。所以，一个自然而然的想法就是在Redis中找到一种对应于Mysql行的数据结构。Redis中提供了五种基本数据结构，即字符串（string）、列表（list）、哈希（hash）、集合（set）和有序集合（sorted set）。经过调研，发现适合存储行的数据结构有两种，即string和hash。
要把Mysql的行数据存入string，首先需要对行数据进行格式化。事实上，结果集的每一行都可以看做若干由字段名和其对应值组成的键值对集合。这种键值对结构很容易让我们想起Json格式。因此，这里选用Json格式作为结果集每一行的格式化模板。根据这一想法，我们可以实现将结果集格式化为若干Json对象，并将Json对象转化为字符串存入Redis的代码：
[cpp] view
plaincopy
// 该函数把结果集中的每一行转换为一个Json格式的字符串并存入Redis的STRING结构中，
// STRING键应该包含结果集标识符和STRING编号，形式如“cache.string:123456:1”
string Cache2String(sql::Connection *mysql_connection,
redisContext *redis_connection,
sql::ResultSet *resultset,
const string &resultset_id, int ttl) {
if (resultset->rowsCount() == 0) {
throw runtime_error("FAILURE - no rows");
}
// STRING键的前缀，包含了结果集的标识符
string prefix("cache.string:" + resultset_id + ":");
unsigned int num_row = 1; // STRING编号，附加于STRING键的末尾，从1开始
sql::ResultSetMetaData *meta = resultset->getMetaData();
unsigned int num_col = meta->getColumnCount();
// 将结果集中所有行对应的所有STRING键存入该SET，SET键包含了结果集的标识符
string redis_row_set_key("resultset.string:" + resultset_id);
redisReply *reply;
string ttlstr;
stringstream ttlstream;
ttlstream << ttl;
ttlstr = ttlstream.str();
resultset->beforeFirst();
// 将结果集中的每一行转为Json格式的字符串，将这些Json字符串存入STRING，
// 每个STRING对应结果集中的一行
while (resultset->next()) {
string redis_row_key; // STRING键名，由前缀和STRING编号组成
stringstream keystream;
keystream << prefix << num_row;
redis_row_key = keystream.str();
Json::Value row;
for (int i = 1; i <= num_col; ++i) {
string col_label = meta->getColumnLabel(i);
string col_value = resultset->getString(col_label);
row[col_label] = col_value;
}
Json::FastWriter writer;
string redis_row_value = writer.write(row);
// 将STRING键及Json格式的对应值对存入Redis
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SET %s %s",
redis_row_key.c_str(),
redis_row_value.c_str()));
freeReplyObject(reply);
// 将STRING键加入SET中
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SADD %s %s",
redis_row_set_key.c_str(),
redis_row_key.c_str()));
freeReplyObject(reply);
// 设置STRING的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
++num_row;
}
// 设置SET的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_set_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
return redis_row_set_key; // 返回SET键，以便于其他函数获取该SET中的内容
}
要把Mysql的行数据存入hash，过程要比把数据存入string直观很多。这是由hash的结构性质决定的——hash本身就是一个键值对集合：一个“父键”下面包含了很多“子键”，每个“子键”都对应一个值。根据前面的分析可知，结果集中的每一行实际上也是键值对集合。用Redis键值对集合表示Mysql键值对集合应该再合适不过了：对于结果集中的某一行，字段对应于hash的“子键”，字段对应的值就是hash“子键”对应的值，即结果集的一行刚好对应一个hash。这一想法的实现代码如下：
[cpp] view
plaincopy
// 该函数把结果集中的每一行都存入一个HASH结构。HASH键应当包括结果集标识符和HASH编号，
// 形如“cache.string:123456:1”
string Cache2Hash(sql::Connection *mysql_connection,
redisContext *redis_connection,
sql::ResultSet *resultset,
const string &resultset_id, int ttl) {
if (resultset->rowsCount() == 0) {
throw runtime_error("FAILURE - no rows");
}
// HASH键的前缀，包含了结果集的标识符
string prefix("cache.hash:" + resultset_id + ":");
unsigned int num_row = 1; // HASH编号，附加于HASH键的末尾，从1开始
sql::ResultSetMetaData *meta = resultset->getMetaData();
unsigned int num_col = meta->getColumnCount();
// 将结果集中所有行对应的所有HASH键存入该SET，SET键包含了结果集的标识符
string redis_row_set_key("resultset.hash:" + resultset_id);
redisReply *reply;
string ttlstr;
stringstream ttlstream;
ttlstream << ttl;
ttlstr = ttlstream.str();
// 结果集中的每一行对应于一个HASH，将结果集的所有行都存入相应HASH中
resultset->beforeFirst();
while (resultset->next()) {
string redis_row_key; // HASH键名，由前缀和HASH编号组成
stringstream keystream;
keystream << prefix << num_row;
redis_row_key = keystream.str();
for (int i = 1; i <= num_col; ++i) {
string col_label = meta->getColumnLabel(i);
string col_value = resultset->getString(col_label);
// 将结果集中一行的字段名和对应值存入HASH
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"HSET %s %s %s",
redis_row_key.c_str(),
col_label.c_str(),
col_value.c_str()));
freeReplyObject(reply);
}
// 将HASH键加入SET中
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SADD %s %s",
redis_row_set_key.c_str(),
redis_row_key.c_str()));
freeReplyObject(reply);
// 设置HASH的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
++num_row;
}
// 设置SET的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_set_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
return redis_row_set_key; // 返回SET键，以便于其他函数获取该SET中的内容
}
至此，我们已经给出了两种存储Mysql结果集的方案，这就是我们在篇首提出的第一个问题，即选择何种数据结构存储Mysql结果集的答案。下一篇文章将研究第二个问题，即数据结构键的标识符选择问题。
把Mysql结果集缓存到Redis的字符串或哈希结构中以后，我们面临一个新的问题，即如何为这些字符串或哈希命名，也就是如何确定它们的键。因为这些数据结构所对应的行都属于某个结果集，假如可以找到一种唯一标识结果集的方法，那么只需为这些数据结构分配一个唯一的序号，然后把结果集标识符与该序号结合起来，就能唯一标识一个数据结构了。于是，为字符串和哈希命名的问题就转化为确定结果集标识符的问题。
经过调研，发现一种较为通用的确定结果集标识符的方法。正如我们所知道的，缓存在Redis中的结果集数据都是利用select等sql语句从Mysql中获取的。同样的查询语句会生成同样的结果集（这里暂时不讨论结果集中每条记录的顺序问题），这一性质刚好可以用来确定结果集的唯一标识符。当然，简单地把整个sql语句作为结果集标识符是不可取的，一个显而易见的理由是，未经处理的sql查询语句均包含若干空格，而Redis的键是不允许存在空格的。这时，我们需要一个可以把sql语句转换为唯一标识符的函数。通常，这一功能由散列函数完成，包括MD5，SHA系列等加密散列函数在内的很多算法均可达到这一目的。
确定结果集标识符之后，从Redis读数据或向Redis写数据的思路就很清晰了。对于一个sql语句格式的数据请求，首先计算该语句的MD5并据此得到结果集标识符，然后利用该标识符在Redis中查找该结果集。注意，结果集中的每一行都有一个相应的键，这些键都存储在一个Redis集合结构中。这个集合恰好对应了所需的结果集，所以，该集合的键必须包含结果集标识符。如果Redis中不存在这样一个集合，说明要找的结果集不在Redis中，所以需要执行相应的sql语句，在Mysql中查询到相应的结果集，然后按照上面所说的办法把结果集中的每一行以字符串或哈希的形式存入Redis。在Redis中查找相应结果集的代码如下：
[cpp] view
plaincopy
// 该函数根据sql语句在Redis中查询相应的结果集，并返回结果集中每一行所对应的数据结构的键
vector<string> GetCache(sql::Connection *mysql_connection,
redisContext *redis_connection,
const string &sql, int ttl, int type) {
vector<string> redis_row_key_vector;
string resultset_id = md5(sql); // 计算sql语句的md5，这是唯一标识结果集的关键
// type==1时，该函数将查询相应的STRING集合或将结果集写入若干STRING
string cache_type = (type == 1) ? "string" : "hash";
// 根据type信息和结果集标识符合成SET键
string redis_row_set_key = "resultset." + cache_type + ":" + resultset_id;
redisReply *reply;
// 尝试从reply中获取SET中保存的所有键
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SMEMBERS %s",
redis_row_set_key.c_str()));
if (reply->type == REDIS_REPLY_ARRAY) {
// 如果要找的SET不存在，说明Redis中没有相应的结果集，需要调用Cache2String或
// Cache2Hash函数把数据从Mysql拉取到Redis中
if (reply->elements == 0) {
freeReplyObject(reply);
sql::Statement *stmt = mysql_connection->createStatement();
sql::ResultSet *resultset = stmt->executeQuery(sql);
if (type == 1) {
redis_row_set_key = Cache2String(mysql_connection, redis_connection,
resultset, resultset_id, ttl);
} else {
redis_row_set_key = Cache2Hash(mysql_connection, redis_connection,
resultset, resultset_id, ttl);
}
// 再次尝试从reply中获取SET中保存的所有键
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SMEMBERS %s",
redis_row_set_key.c_str()));
delete resultset;
delete stmt;
}
// 把SET中的每个STRING或HASH键存入redis_row_key_vector中
string redis_row_key;
for (int i = 0; i < reply->elements; ++i) {
redis_row_key = reply->element[i]->str;
redis_row_key_vector.push_back(redis_row_key);
}
freeReplyObject(reply);
} else {
freeReplyObject(reply);
throw runtime_error("FAILURE - SMEMBERS error");
}
return redis_row_key_vector;
}
现在我们已经掌握了确定Redis中的结果集标识符以及各数据结构的键的方法。下一篇文章将研究结果集在Redis中的排序和分页问题。
用Redis作Mysql数据库缓存，必须解决2个问题。首先，应该确定用何种数据结构存储来自Mysql的数据；在确定数据结构之后，还要考虑用什么标识作为该数据结构的键。
直观上看，Mysql中的数据都是按表存储的；更微观地看，这些表都是按行存储的。每执行一次select查询，Mysql都会返回一个结果集，这个结果集由若干行组成。所以，一个自然而然的想法就是在Redis中找到一种对应于Mysql行的数据结构。Redis中提供了五种基本数据结构，即字符串（string）、列表（list）、哈希（hash）、集合（set）和有序集合（sorted set）。经过调研，发现适合存储行的数据结构有两种，即string和hash。
要把Mysql的行数据存入string，首先需要对行数据进行格式化。事实上，结果集的每一行都可以看做若干由字段名和其对应值组成的键值对集合。这种键值对结构很容易让我们想起Json格式。因此，这里选用Json格式作为结果集每一行的格式化模板。根据这一想法，我们可以实现将结果集格式化为若干Json对象，并将Json对象转化为字符串存入Redis的代码：
[cpp] view
plaincopy
// 该函数把结果集中的每一行转换为一个Json格式的字符串并存入Redis的STRING结构中，
// STRING键应该包含结果集标识符和STRING编号，形式如“cache.string:123456:1”
string Cache2String(sql::Connection *mysql_connection,
redisContext *redis_connection,
sql::ResultSet *resultset,
const string &resultset_id, int ttl) {
if (resultset->rowsCount() == 0) {
throw runtime_error("FAILURE - no rows");
}
// STRING键的前缀，包含了结果集的标识符
string prefix("cache.string:" + resultset_id + ":");
unsigned int num_row = 1; // STRING编号，附加于STRING键的末尾，从1开始
sql::ResultSetMetaData *meta = resultset->getMetaData();
unsigned int num_col = meta->getColumnCount();
// 将结果集中所有行对应的所有STRING键存入该SET，SET键包含了结果集的标识符
string redis_row_set_key("resultset.string:" + resultset_id);
redisReply *reply;
string ttlstr;
stringstream ttlstream;
ttlstream << ttl;
ttlstr = ttlstream.str();
resultset->beforeFirst();
// 将结果集中的每一行转为Json格式的字符串，将这些Json字符串存入STRING，
// 每个STRING对应结果集中的一行
while (resultset->next()) {
string redis_row_key; // STRING键名，由前缀和STRING编号组成
stringstream keystream;
keystream << prefix << num_row;
redis_row_key = keystream.str();
Json::Value row;
for (int i = 1; i <= num_col; ++i) {
string col_label = meta->getColumnLabel(i);
string col_value = resultset->getString(col_label);
row[col_label] = col_value;
}
Json::FastWriter writer;
string redis_row_value = writer.write(row);
// 将STRING键及Json格式的对应值对存入Redis
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SET %s %s",
redis_row_key.c_str(),
redis_row_value.c_str()));
freeReplyObject(reply);
// 将STRING键加入SET中
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SADD %s %s",
redis_row_set_key.c_str(),
redis_row_key.c_str()));
freeReplyObject(reply);
// 设置STRING的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
++num_row;
}
// 设置SET的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_set_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
return redis_row_set_key; // 返回SET键，以便于其他函数获取该SET中的内容
}
要把Mysql的行数据存入hash，过程要比把数据存入string直观很多。这是由hash的结构性质决定的——hash本身就是一个键值对集合：一个“父键”下面包含了很多“子键”，每个“子键”都对应一个值。根据前面的分析可知，结果集中的每一行实际上也是键值对集合。用Redis键值对集合表示Mysql键值对集合应该再合适不过了：对于结果集中的某一行，字段对应于hash的“子键”，字段对应的值就是hash“子键”对应的值，即结果集的一行刚好对应一个hash。这一想法的实现代码如下：
[cpp] view
plaincopy
// 该函数把结果集中的每一行都存入一个HASH结构。HASH键应当包括结果集标识符和HASH编号，
// 形如“cache.string:123456:1”
string Cache2Hash(sql::Connection *mysql_connection,
redisContext *redis_connection,
sql::ResultSet *resultset,
const string &resultset_id, int ttl) {
if (resultset->rowsCount() == 0) {
throw runtime_error("FAILURE - no rows");
}
// HASH键的前缀，包含了结果集的标识符
string prefix("cache.hash:" + resultset_id + ":");
unsigned int num_row = 1; // HASH编号，附加于HASH键的末尾，从1开始
sql::ResultSetMetaData *meta = resultset->getMetaData();
unsigned int num_col = meta->getColumnCount();
// 将结果集中所有行对应的所有HASH键存入该SET，SET键包含了结果集的标识符
string redis_row_set_key("resultset.hash:" + resultset_id);
redisReply *reply;
string ttlstr;
stringstream ttlstream;
ttlstream << ttl;
ttlstr = ttlstream.str();
// 结果集中的每一行对应于一个HASH，将结果集的所有行都存入相应HASH中
resultset->beforeFirst();
while (resultset->next()) {
string redis_row_key; // HASH键名，由前缀和HASH编号组成
stringstream keystream;
keystream << prefix << num_row;
redis_row_key = keystream.str();
for (int i = 1; i <= num_col; ++i) {
string col_label = meta->getColumnLabel(i);
string col_value = resultset->getString(col_label);
// 将结果集中一行的字段名和对应值存入HASH
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"HSET %s %s %s",
redis_row_key.c_str(),
col_label.c_str(),
col_value.c_str()));
freeReplyObject(reply);
}
// 将HASH键加入SET中
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SADD %s %s",
redis_row_set_key.c_str(),
redis_row_key.c_str()));
freeReplyObject(reply);
// 设置HASH的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
++num_row;
}
// 设置SET的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_set_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
return redis_row_set_key; // 返回SET键，以便于其他函数获取该SET中的内容
}
至此，我们已经给出了两种存储Mysql结果集的方案，这就是我们在篇首提出的第一个问题，即选择何种数据结构存储Mysql结果集的答案。下一篇文章将研究第二个问题，即数据结构键的标识符选择问题。
把Mysql结果集缓存到Redis的字符串或哈希结构中以后，我们面临一个新的问题，即如何为这些字符串或哈希命名，也就是如何确定它们的键。因为这些数据结构所对应的行都属于某个结果集，假如可以找到一种唯一标识结果集的方法，那么只需为这些数据结构分配一个唯一的序号，然后把结果集标识符与该序号结合起来，就能唯一标识一个数据结构了。于是，为字符串和哈希命名的问题就转化为确定结果集标识符的问题。
经过调研，发现一种较为通用的确定结果集标识符的方法。正如我们所知道的，缓存在Redis中的结果集数据都是利用select等sql语句从Mysql中获取的。同样的查询语句会生成同样的结果集（这里暂时不讨论结果集中每条记录的顺序问题），这一性质刚好可以用来确定结果集的唯一标识符。当然，简单地把整个sql语句作为结果集标识符是不可取的，一个显而易见的理由是，未经处理的sql查询语句均包含若干空格，而Redis的键是不允许存在空格的。这时，我们需要一个可以把sql语句转换为唯一标识符的函数。通常，这一功能由散列函数完成，包括MD5，SHA系列等加密散列函数在内的很多算法均可达到这一目的。
确定结果集标识符之后，从Redis读数据或向Redis写数据的思路就很清晰了。对于一个sql语句格式的数据请求，首先计算该语句的MD5并据此得到结果集标识符，然后利用该标识符在Redis中查找该结果集。注意，结果集中的每一行都有一个相应的键，这些键都存储在一个Redis集合结构中。这个集合恰好对应了所需的结果集，所以，该集合的键必须包含结果集标识符。如果Redis中不存在这样一个集合，说明要找的结果集不在Redis中，所以需要执行相应的sql语句，在Mysql中查询到相应的结果集，然后按照上面所说的办法把结果集中的每一行以字符串或哈希的形式存入Redis。在Redis中查找相应结果集的代码如下：
[cpp] view
plaincopy
// 该函数根据sql语句在Redis中查询相应的结果集，并返回结果集中每一行所对应的数据结构的键
vector<string> GetCache(sql::Connection *mysql_connection,
redisContext *redis_connection,
const string &sql, int ttl, int type) {
vector<string> redis_row_key_vector;
string resultset_id = md5(sql); // 计算sql语句的md5，这是唯一标识结果集的关键
// type==1时，该函数将查询相应的STRING集合或将结果集写入若干STRING
string cache_type = (type == 1) ? "string" : "hash";
// 根据type信息和结果集标识符合成SET键
string redis_row_set_key = "resultset." + cache_type + ":" + resultset_id;
redisReply *reply;
// 尝试从reply中获取SET中保存的所有键
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SMEMBERS %s",
redis_row_set_key.c_str()));
if (reply->type == REDIS_REPLY_ARRAY) {
// 如果要找的SET不存在，说明Redis中没有相应的结果集，需要调用Cache2String或
// Cache2Hash函数把数据从Mysql拉取到Redis中
if (reply->elements == 0) {
freeReplyObject(reply);
sql::Statement *stmt = mysql_connection->createStatement();
sql::ResultSet *resultset = stmt->executeQuery(sql);
if (type == 1) {
redis_row_set_key = Cache2String(mysql_connection, redis_connection,
resultset, resultset_id, ttl);
} else {
redis_row_set_key = Cache2Hash(mysql_connection, redis_connection,
resultset, resultset_id, ttl);
}
// 再次尝试从reply中获取SET中保存的所有键
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SMEMBERS %s",
redis_row_set_key.c_str()));
delete resultset;
delete stmt;
}
// 把SET中的每个STRING或HASH键存入redis_row_key_vector中
string redis_row_key;
for (int i = 0; i < reply->elements; ++i) {
redis_row_key = reply->element[i]->str;
redis_row_key_vector.push_back(redis_row_key);
}
freeReplyObject(reply);
} else {
freeReplyObject(reply);
throw runtime_error("FAILURE - SMEMBERS error");
}
return redis_row_key_vector;
}
现在我们已经掌握了确定Redis中的结果集标识符以及各数据结构的键的方法。下一篇文章将研究结果集在Redis中的排序和分页问题。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 初学Redis（1）——认识Redis
- Redis操作命令
- redis学习笔记---redis主从复制
- Redis系列一：初识Redis
- redis的简单操作
- redis的集群配置
- Redis编译及安装
- redis的简单安装和配置文件的参数
- Windows环境下安装Redis
- Redis学习笔记---介绍、安装和通用命令
- Redis中集合类型Set
- AAA redis使用手册后 小结
- redis集群（主从配置）
- Redis
- Redis在windows环境下的部署
- Redis缓存异常的容错实现方法( .net)
- Redis
- 一个导出redis有序集合sorted-sets的shell脚本
- Redis认识
- redis-3.0.5安装