centos7.2环境中kettle环境搭建及任务推送配置详解
2016-09-23 16:36
661 查看
目标:将mysql5.5中testdb1的ehr_user表推送到tdoa的ehr_user表中,为避免不必要的麻烦,两张表结构、编码,包括数据库编码保持一致
操作系统:centos7.2
kettle:5.2
jdk:1.8.102
数据库:mysql
1.环境搭建
安装jdk1.8.102
rpm -ivh jdk-8u102-linux-x64.rpm
2.下载kettle软件上传到/data/目录下,并解压kettle.zip
3.在windows中建立好推送任务任务
具体步骤:
①安装好jdk1.8.102并设置java环境并设置java_home目录
②双击D:\software\source_tar\kettle\kettle\data-integration\Spoon.bat运行kettle软件
a.文件/新建/转换,保存下,此次我保持名为win_centos
db连接-新建,输入数据库的名称、连接IP、用户名、密码、数据库名,可以点击测试数据库是否联通,分别建立源数据库和目标数据库连接
点击运行可以进行测试是否连通
b.建立一个作业
将这些文件上传到/data/job目录中
kettle任务运行脚本,做成定时任务,每天晚上一次:
1 1 * * * /bin/bash /data/job/appPush/appPush.sh
cat appPush.sh
#!/bin/sh
JAVA_HOME=/usr/java/jdk1.8.0_102
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME
export CLASSPATH
export PATH
/data/kettle/data-integration/kitchen.sh -file=/data/job/appPush/win_centos.kjb > /data/job/appPush/bi.log
问题描述:
数据库中的数据在不同的数据库中转换来装换去,由于不同库可能使用了不同的字符集,所以可能导致结果数据乱码问题。此次是在一个作业中跑数据,跑完数据前台数据显示出现乱码,检查了作业中的多有中间过程表,包括表输入的预览,表中的数据都是正常的,可想而知,问题肯定是处在“表输入”到“表输出”这个中间的转换环节上,根据能想到的,应该是字符集问题,为了更有保障的“表输入”和“表输出”的字符集相同,所以在表输入输出中。都添加了字符集的配置参数characterEncoding,值为utf8,
步骤截图如下
主对像树/DB连接,源数据库和目标数据库都要改
操作系统:centos7.2
kettle:5.2
jdk:1.8.102
数据库:mysql
1.环境搭建
安装jdk1.8.102
rpm -ivh jdk-8u102-linux-x64.rpm
2.下载kettle软件上传到/data/目录下,并解压kettle.zip
3.在windows中建立好推送任务任务
具体步骤:
①安装好jdk1.8.102并设置java环境并设置java_home目录
②双击D:\software\source_tar\kettle\kettle\data-integration\Spoon.bat运行kettle软件
a.文件/新建/转换,保存下,此次我保持名为win_centos
db连接-新建,输入数据库的名称、连接IP、用户名、密码、数据库名,可以点击测试数据库是否联通,分别建立源数据库和目标数据库连接
点击运行可以进行测试是否连通
b.建立一个作业
将这些文件上传到/data/job目录中
kettle任务运行脚本,做成定时任务,每天晚上一次:
1 1 * * * /bin/bash /data/job/appPush/appPush.sh
cat appPush.sh
#!/bin/sh
JAVA_HOME=/usr/java/jdk1.8.0_102
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME
export CLASSPATH
export PATH
/data/kettle/data-integration/kitchen.sh -file=/data/job/appPush/win_centos.kjb > /data/job/appPush/bi.log
问题描述:
数据库中的数据在不同的数据库中转换来装换去,由于不同库可能使用了不同的字符集,所以可能导致结果数据乱码问题。此次是在一个作业中跑数据,跑完数据前台数据显示出现乱码,检查了作业中的多有中间过程表,包括表输入的预览,表中的数据都是正常的,可想而知,问题肯定是处在“表输入”到“表输出”这个中间的转换环节上,根据能想到的,应该是字符集问题,为了更有保障的“表输入”和“表输出”的字符集相同,所以在表输入输出中。都添加了字符集的配置参数characterEncoding,值为utf8,
步骤截图如下
主对像树/DB连接,源数据库和目标数据库都要改
相关文章推荐
- centos7.2环境中kettle环境搭建及任务推送配置详解
- centos 6.5环境利用iscsi搭建SAN网络存储服务及服务端target和客户端initiator配置详解
- 测试环境搭建之CentOS 7.0系统安装配置步骤详解
- centos 6.5环境利用iscsi搭建SAN网络存储服务及服务端target和客户端initiator配置详解
- 测试环境搭建之CentOS 7.0系统安装配置步骤详解
- LNMP【CentOS7+MySQL5.7+PHP7.2+Nginx1.13】环境搭建与配置
- Centos6.5搭建java开发环境配置详解
- LAMP【CentOS 7+MySQL5.7+PHP7.2+Apache2.4】环境搭建与配置
- 测试环境搭建之CentOS 7.0系统安装配置步骤详解
- Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群的环境配置
- centos搭建J2EE_CMS运行环境(jdk +tomcat +mysql配置)
- 搭建PXE全自动系统安装配置环境(分别使用CentOS和Ubuntu做安装源)
- maven 开发环境搭建和配置文件详解
- CentOS Linux搭建SVN Server配置详解
- LNMP环境的搭建配置(CentOS6.2+nginx1.1.15+mysql5.6+php5.3.10+redis+memcached)
- (总结)CentOS Linux搭建SVN Server配置详解
- CentOS Linux搭建SVN Server配置详解 权限配置
- (总结)CentOS Linux搭建SVN Server配置详解