编译安装Gearman、python简单测试

Gearman是开源、轻量级的任务分发程序框架，方便开发分布式的任务处理（计算）程序，Gearman支持多种后端数据的存储。
Gearman有c和java两个版本，支持多种语言的客户端

一、安装依赖库

sudo yum install boost-devel libevent-devel sqlite-devel libuuid-devel

编译Gearman是必须要有mysql开发库的

二、编译安装

./configure --with-mysql=/opt/db/Percona-Server-5.5.21-rel25.0/bin/mysql_config --prefix=/opt/gearmand-0.33

会列出已经支持的数据存储库

* Building with libsqlite3  yes
* Building with libdrizzle  no
* Building with libmemcached no
* Building with libpq    no
* Building with tokyocabinet no
* Building with libmysql   yes

编译安装

make && make install

三、编译中出现一些小问题
最新版的gearmand-0.34无法安装成功，会提示：

libgearman-server/plugins/queue/mysql/queue.cc:49:25: fatal error: mysql/mysql.h: No such file or directory

但是已经认出MySQL：

checking if MySQL version is >= 5.0... yes

checking for mysqld... /opt/db/Percona-Server-5.5.21-rel25.0/bin/mysqld

限于时间紧迫，暂时使用gearmand-0.33

四、启动gearmand

./gearmand -L 127.0.0.1 -p 7003

五、编写测试代码（python）
先安装python-gearman

easy_install gearman

1、编写任务工作者：worker.py

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
# file: worker.py

import os
import gearman
import math

class CustomGearmanWorker(gearman.GearmanWorker):
def on_job_execute(self, current_job):
print "开始......"
print "工作中......"
print '结束'

return super(CustomGearmanWorker, self).on_job_execute(current_job)

def task_callback(gearman_worker, job):
print job.data
return job.data

new_worker = CustomGearmanWorker(['127.0.0.1:7003'])
new_worker.register_task("echo", task_callback)
new_worker.work()

2、启动worker.py

python worker.py

可以启动多个，分布在不同的机器上

3、编写测试端client.py

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
# file: client.py

from gearman import GearmanClient

new_client = GearmanClient(['127.0.0.1:7003'])
current_request = new_client.submit_job('echo', 'foo')
new_result = current_request.result
print new_result

4、测试一下

python client.py

可以看到worker输出信息了

使用体会

1、编写异步的任务分发程序简单方便
2、测试中发现，任务的分发不是很均匀（调度算法不好？）