Kettle 集群（cluster）在多个服务器（windows、linux）上并发执行

Kettle集群（cluster）在多个服务器（windows、linux）上并发执行

网络感知中心

2014年7月29日

目录

一、 Kettle的部署...3

二、
服务器介绍...3

三、 carte相关配置文件说明...3

四、 carte服务开启...4

五、 在kettle图形界面中对集群进行设定...5

六、 基于kettle集群模式对数据库表进行排序...6

1、 创建数据库连接...6

2、 创建表输入...7

3、 使用排序记录对数据库表中的数据进行排序处理。...8

七、 表输出...9

八、 执行转换...9

九、 结果输出...10

关于kettle集群在单机上的测试可参考文档：http://www.cnblogs.com/inuyasha1027/p/3259402.html。这里主要介绍服务器分布在不同主机上的情况。

一、Kettle的部署

不管是linux下还是windows下部署kettle前提是机器上都已安装JDK。其次把kettle的安装文件解压后即可。Windows下启动spoon.bat；linux下启动spoon.sh。

二、服务器介绍

本实验使用的服务器：

127.0.0.1 lixuemei-PC

10.2.2.11 DBM011

10.4.2.12 DBM012

10.2.2.10 DBM010

三、carte相关配置文件说明

本实验开启的四个carte服务，其中一台为Master另外三台为Slave，来实现在Kettle的Spoon中对mysql数据库中数据表读取后，以集群方式来执行排序的过程。

Carte的配置文件所在路径：F:\BDE\kettle\data-integration\pwd

（1）主服务器（carte-config-master-8080.xml）的配置内容为：

<slaveserver>

<name>master1</name>

<hostname>lixuemei-PC</hostname>

<port>8080</port>

<master>Y</master>

</slaveserver>

其中<hostname>lixuemei-PC</hostname>表示以本机作为主服务器。在本机的C:\Windows\System32\drivers\etc\hosts 文件中添加内容：127.0.0.1 lixuemei-PC。相应的其他三个服务器上的hosts文件中也添加内容：10.200.4.163lixuemei-PC。

（2）子服务器（carte-config-8082.xml）的配置内容为：

<masters>

<slaveserver>

<name>master1</name>

<hostname>lixuemei-PC</hostname>

<port>8080</port>

<username>cluster</username>

<password>cluster</password>

<master>Y</master>

</slaveserver>

</masters>

<report_to_masters>Y</report_to_masters>

<slaveserver>

<name>slave2-8082</name>

<hostname>10.2.2.11</hostname>

<port>8082</port>

<username>cluster</username>

<password>cluster</password>

<master>N</master>

</slaveserver>

其中<hostname>10.2.2.11</hostname>为子服务器的ip。

同样方式设定其他自服务器（carte-config-8083.xml、carte-config-8085.xml）的配置内容。把更改好的windows下的pwd文件夹分别覆盖其他三个服务器上的相应文件夹。

四、carte服务开启

对于Windows运行：Carte.batIP address port

对于Linux运行：carte.shIP address port

图1所示启动windows上的主节点，并已启动成功。



图1 Master1
相似地，图2—图4在linux上启动其他三个子节点：



图2 Slave1-8085



图3 Slave2-8082



图4 Slave3-8083
五、在kettle图形界面中对集群进行设定

特别需要注意的是：服务器的名称一定要与pwd文件夹下面的配置文件<name>属性所对应的值是一致的。所新建的子服务器一定要在pwd文件夹下面要有对应的配置文件才可以。

图5所示配置好的主节点，需要在“是服务器吗”选项勾选。



图5 主节点配置
图6所示配置好的三个配置好的子节点，在"是主服务器吗？"这个选项中，因为它不是主服务器，所以不对其进行勾选。



图6 子节点配置
下图是将各个子服务器导入到集群中，命名为linux_test_cluster：



图7 kettle集群schemas设定
六、基于kettle集群模式对数据库表进行排序

1、 创建数据库连接

点击【主对象树】下的【DB连接】进行创建数据库连接。



图8 数据库连接
2、 创建表输入

在【核心对象】中的【输入】中把【表输入】拖到主窗口。双击工作区中的【表输入】图表就可以写对应的查询语句：



图9 创建表输入
3、 使用排序记录对数据库表中的数据进行排序处理。

在【核心对象】中的【转换】中把【排序记录】拖到主窗口。双击工作表中的【排序记录】，设置需要排序的字段，具体如下图：



图10 排序记录设定
如果要实现的是集群并发的方式来对数据进行排序，需要右键单击【排序记录】后选择【集群】



图11 选择集群
确定后【排序记录】成如下情形：



图12 选择集群后结果
七、表输出

对于输出，我们输出到site数据库的kettle_rank_site_copy表：



图13 创建表输出
八、执行转换

执行转换时选择【集群方式执行】：



图14 集群方式执行
九、结果输出



图15 Master1输出



图16 slave1-8085输出



图17 slave2-8082输出



图18 slave3-8083输出