Kettle 集群（cluster）在多个服务器（windows、linux）上并发执行

Kettle集群（cluster）在多个服务器（windows、linux）上并发执行

--网络感知中心

--2014年7月29日

目录
一、    Kettle的部署...3
二、   
服务器介绍...3
三、 
  carte相关配置文件说明...3
四、 
  carte服务开启...4
五、 
  在kettle图形界面中对集群进行设定...5
六、 
   基于kettle集群模式对数据库表进行排序...6
1、      创建数据库连接...6
2、      创建表输入...7
3、      使用排序记录对数据库表中的数据进行排序处理。...8
七、 
   表输出...9
八、 
   执行转换...9
九、 
   结果输出...10
 
关于kettle集群在单机上的测试可参考文档：http://www.cnblogs.com/inuyasha1027/p/3259402.html。
这里主要介绍服务器分布在不同主机上的情况。

一、kettle的部署

不管是linux下还是windows下部署kettle前提是机器上都已安装JDK。其次把kettle的安装文件解压后即可。
Windows下启动spoon.bat；
linux下启动spoon.sh。
二、服务器介绍

本实验使用的服务器：
127.0.0.1 lixuemei-PC
10.2.2.11 DBM011

10.4.2.12 DBM012

10.2.2.10 DBM010
三、carte相关配置文件说明
本实验开启的四个carte服务，其中一台为Master另外三台为Slave，来实现在Kettle的Spoon中对mysql数据库中数据表读取后，以集群方式来执行排序的过程。
Carte的配置文件所在路径：F:\BDE\kettle\data-integration\pwd
（1）主服务器（carte-config-master-8080.xml）的配置内容为：
  <slaveserver>
   <name>master1</name>
   <hostname>lixuemei-PC</hostname>
   <port>8080</port>
   <master>Y</master>
  </slaveserver>
其中<hostname>lixuemei-PC</hostname>表示以本机作为主服务器。在本机的C:\Windows\System32\drivers\etc\hosts 文件中添加内容：127.0.0.1 lixuemei-PC。相应的其他三个服务器上的hosts文件中也添加内容：10.200.4.163lixuemei-PC。
（2）子服务器（carte-config-8082.xml）的配置内容为：
<masters>
     <slaveserver>
     <name>master1</name>
     <hostname>lixuemei-PC</hostname>
     <port>8080</port>
      <username>cluster</username>
     <password>cluster</password>
     <master>Y</master>
    </slaveserver>
</masters>
 
 <report_to_masters>Y</report_to_masters>
 
  <slaveserver>
   <name>slave2-8082</name>
   <hostname>10.2.2.11</hostname>
    <port>8082</port>
   <username>cluster</username>
   <password>cluster</password>
   <master>N</master>
  </slaveserver>
         其中<hostname>10.2.2.11</hostname>为子服务器的ip。
         同样方式设定其他自服务器（carte-config-8083.xml、carte-config-8085.xml）的配置内容。把更改好的windows下的pwd文件夹分别覆盖其他三个服务器上的相应文件夹。
四、carte服务开启

对于Windows运行：Carte.batIP address port
对于Linux运行：carte.shIP address port
图1所示启动windows上的主节点，并已启动成功。



图1 Master1
相似地，图2—图4在linux上启动其他三个子节点：



图2 Slave1-8085



图3 Slave2-8082



图4 Slave3-8083
五、在kettle图形界面中对集群进行设定

特别需要注意的是：服务器
cd64
的名称一定要与pwd文件夹下面的配置文件<name>属性所对应的值是一致的。所新建的子服务器一定要在pwd文件夹下面要有对应的配置文件才可以。
图5所示配置好的主节点，需要在“是服务器吗”选项勾选。



图5 主节点配置
图6所示配置好的三个配置好的子节点，在"是主服务器吗？"这个选项中，因为它不是主服务器，所以不对其进行勾选。



图6 子节点配置
下图是将各个子服务器导入到集群中，命名为linux_test_cluster：



图7 kettle集群schemas设定
六、基于kettle集群模式对数据库表进行排序

1、创建数据库连接
点击【主对象树】下的【DB连接】进行创建数据库连接。



图8 数据库连接
2、创建表输入

在【核心对象】中的【输入】中把【表输入】拖到主窗口。双击工作区中的【表输入】图表就可以写对应的查询语句：
 



图9 创建表输入
3、使用排序记录对数据库中表进行排序处理
在【核心对象】中的【转换】中把【排序记录】拖到主窗口。双击工作表中的【排序记录】，设置需要排序的字段，具体如下图：



图10 排序记录设定
                   如果要实现的是集群并发的方式来对数据进行排序，需要右键单击【排序记录】后选择【集群】



图11 选择集群
                   确定后【排序记录】成如下情形：



图12 选择集群后结果
七、表输出

对于输出，我们输出到site数据库的kettle_rank_site_copy表：



图13 创建表输出
八、执行转换

执行转换时选择【集群方式执行】：



图14 集群方式执行

九、结果输出



图15 Master1输出



图16 slave1-8085输出



图17 slave2-8082输出



图18 slave3-8083输出