消息队列RabbitMQ入门介绍

（一）基本概念

RabbitMQ是流行的开源消息队列系统，用erlang语言开发。我曾经对这门语言挺有兴趣，学过一段时间，后来没坚持。RabbitMQ是AMQP（高级消息队列协议）的标准实现。如果不熟悉AMQP，直接看RabbitMQ的文档会比较困难。不过它也只有几个关键概念，这里简单介绍。

RabbitMQ的结构图如下：





几个概念说明：

Broker：简单来说就是消息队列服务器实体。

Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。

Queue：消息队列载体，每个消息都会被投入到一个或多个队列。

Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。

Routing Key：路由关键字，exchange根据这个关键字进行消息投递。

vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。

producer：消息生产者，就是投递消息的程序。

consumer：消息消费者，就是接受消息的程序。

channel：消息通道，在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务。

消息投递过程大概如下：

（1）客户端连接到消息队列服务器，打开一个channel。

（2）客户端声明一个exchange，并设置相关属性。

（3）客户端声明一个queue，并设置相关属性。

（4）客户端使用routing key，在exchange和queue之间建立好绑定关系。

（5）客户端投递消息到exchange。

exchange接收到消息后，就根据消息的key和已经设置的binding，进行消息路由，将消息投递到一个或多个队列里。

exchange也有几个类型，完全根据key进行投递的叫做Direct交换机，例如，绑定时设置了routing key为”abc”，那么客户端提交的消息，只有设置了key为”abc”的才会投递到队列。对key进行模式匹配后进行投递的叫做Topic交换机，符号”#”匹配一个或多个词，符号”*”匹配正好一个词。例如”abc.#”匹配”abc.def.ghi”，”abc.*”只匹配”abc.def”。还有一种不需要key的，叫做Fanout交换机，它采取广播模式，一个消息进来时，投递到与该交换机绑定的所有队列。

RabbitMQ支持消息的持久化，也就是数据写在磁盘上，为了数据安全考虑，我想大多数用户都会选择持久化。消息队列持久化包括3个部分：

（1）exchange持久化，在声明时指定durable => 1

（2）queue持久化，在声明时指定durable => 1

（3）消息持久化，在投递时指定delivery_mode => 2（1是非持久化）

如果exchange和queue都是持久化的，那么它们之间的binding也是持久化的。如果exchange和queue两者之间有一个持久化，一个非持久化，就不允许建立绑定。

（二）应用实际

我使用Linux服务器（ubuntu 9.10 64位），安装RabbitMQ非常方便。

先运行如下命令安装erlang:

再到rabbitmq.com上下载RabbitMQ的安装包，如下安装：

安装完后，使用

来启动、停止、重启rabbitmq。

在正式应用之前，我们先在RabbitMQ里创建一个vhost，加一个用户，并设置该用户的权限。

使用rabbitmqctl客户端工具，在根目录下创建”/pyhtest”这个vhost:

创建一个用户名”pyh”，设置密码”pyh1234″:

设置pyh用户对/pyhtest这个vhost拥有全部权限：

后面三个”*”代表pyh用户拥有对/pyhtest的配置、写、读全部权限

设置好后，开始编程，我用Perl写一个消息投递程序（producer）：

#!/usr/bin/perl
usestrict;
useNet::RabbitMQ;
useUUID::Tiny;

my$channel = 1000; # channel ID，可以随意指定，只要不冲突
my$queuename = "pyh_queue";# 队列名
my$exchange = "pyh_exchange";# 交换机名
my$routing_key = "test";# routing key

my$mq = Net::RabbitMQ->new(); # 创建一个RabbitMQ对象

$mq->connect("localhost", { vhost => "/pyhtest",user => "pyh",password => "pyh1234" }); # 建立连接
$mq->channel_open($channel);# 打开一个channel
$mq->exchange_declare($channel,$exchange, {durable=> 1}); # 声明一个持久化的交换机
$mq->queue_declare($channel,$queuename, {durable=> 1}); # 声明一个持久化的队列
$mq->queue_bind($channel,$queuename,$exchange,$routing_key);# 使用routing key在交换机和队列间建立绑定

for(my$i=0;$i<10000000;$i++) { # 循环1000万次
my$string = create_UUID_as_string(UUID_V1); # 产生一条UUID作为消息主体
$mq->publish($channel,$routing_key,$string, {exchange => $exchange }, { delivery_mode => 2 }); # 将消息结合key以持久化模式投递到交换机
}

$mq->disconnect();# 断开连接

消息接受程序（consumer）大概如下：

#!/usr/bin/perl
usestrict;
useNet::RabbitMQ;

my$channel = 1001;
my$queuename = "pyh_queue";
my$mq = Net::RabbitMQ->new();

$mq->connect("localhost", { vhost=>"/pyhtest",user => "pyh",password => "pyh1234" });
$mq->channel_open($channel);

while(1) {
my$hashref = $mq->get($channel,$queuename);
lastunless defined $hashref;
print$hashref->{message_count},": ",$hashref->{body},"\n";
}

$mq->disconnect();

consumer连接后只要指定队列就可获取到消息。这里用的是get方式，get就是客户端主动pull的模式。更常见的是consume模式，客户端和服务器保持长连接，有消息就主动推送过来，从而保持消息的及时性。

上述程序共投递1000万条消息，每条消息36字节（UUID），打开持久化，共耗时17分多钟（包括产生UUID的时间），每秒投递消息约9500条。测试机器是8G内存、8核志强CPU。

投递完后，在/var/lib/rabbitmq/mnesia/rabbit@${hostname}/msg_store_persistent目录，产生2G多的持久化消息数据。在运行consumer程序后，这些数据都会消失，因为消息已经被消费了。

注：Perl的RabbitMQ库对AMQP支持很一般，建议参考其他语言的库，例如Ruby的AMQP实现，rubyamqp.info这个网站的内容非常好。另外本博客也写了多篇关于RabbitMQ的主题，欢迎阅读交流。