解析DataWorks数据集成中测试连通性失败问题

点击有惊喜

一、问题现象

此案例中，DataWorks项目位于华东2，RDS Mysql数据源位于华东1（VPC网络），使用DataWorks进行数据同步之前，首先需要建立数据源，但在建立数据源RDS Mysql的配置页面，“测试连通性”失败，即数据源并没有连通。



二、问题处理过程

（1）首先，应该判断该数据源是否支持“测试连通性”

遇到测试连通性问题，首先应该判断该数据源是否支持“测试连通性”，请大家参考《各数据源测试连通性支持情况》。请注意，通过经典网络或VPC网络的跨区域访问，是不保证连通性的，但RDS产品除外，也就是说本案例中的数据源是支持测试连通性的。（本案例中项目和数据源的基本情况，已经在开篇位置介绍了）。

（2）数据源是否配置了完整的白名单

接下来，我们看下是否在Mysql数据库配置了白名单。关于白名单，请参考《数据集成添加白名单》。该文档详细介绍了每个region对应的白名单内容（请注意添加您的项目所在region的白名单，而非您的数据源所在region的白名单）。经过核实，这个RDS
Mysql数据源的白名单如下：



这正是项目所在region华东2的白名单，所以白名单错误或不完整的原因也排除了。而且开篇第一张图报错中出现的100.104.205.10这个ip也在上述白名单中。

（3）数据源配置页面的信息是否正确

接下来需要核实该数据源配置页面的信息是否正确了。

经过核实，RDS实例ID、RDS实例购买者ID、数据库名、用户名、密码，均没有任何问题。而且，用此处填写的数据库名、用户名、密码可以成功登陆Mysql数据库。如下图：



说明基本信息填写正确。

（4）通过公网连接，“测试连通性”是否能成功

上述数据源配置页面，在“数据源类型”选择的是“阿里云数据库（RDS）”，即通过内网连接。接下来尝试下在“数据源类型”选择“有公网IP”，即尝试下通过公网连接，“测试连通性”是否能成功，但测试结果依然失败，并且报错依然是“Access denied”，并且121.43.110.160这个ip也在配置的白名单中。如下图：



（5）核查数据库账号的权限

既然上述配置、白名单等都没问题，那接下来看下该数据库账号（这里假设是zhangsan）的权限问题。

DataWorks的数据集成功能，底层是通过开源工具DataX来进行同步的，DataX是通过select操作去数据源中读取数据的，下图是一个同步任务的日志，从日志中可以看到，同步任务是通过执行select语句去读取数据的，如下图所示：



也就是说，用户必须能够登录数据库，并有select权限，才能进行数据同步。那我们首先看下用户’zhangsan’的权限和属性。

登录Mysql数据库后，执行：

show grants for zhangsan; 

//查询账号zhangsan的权限

select user, host from mysql.user where user = 'zhangsan';

//查询mysql的user表中，用户为'zhangsan'的账号和允许登录的ip

select * from information_schema.processlist where user = 'zhangsan';

//查看user等于'zhangsan'的连接情况。

执行结果如下：



经过上图分析，该用户'zhangsan'没有show grants for zhangsan; 的权限，同样也没有权限查询mysql数据库user表中，用户为'zhangsan'的账号和允许登录的ip。而且，当前用户'zhangsan'的连接情况是正常的。

通过有root权限的相关人员查询得到，该用户'zhangsan'绑定了登录ip，即只有在指定ip下才能用此账号登录，即：

Host: 116.228.89.206

User: zhangsan

也就是说，用户zhangsan是无法通过用于同步的阿里云服务器登录其数据库的，测试连通性当然就失败了！由此，我们终于找到了测试连通性失败的原因！

接下来，用root账户新建用户lisi，然后给lisi赋select权限，命令如下：

grant select on 数据库.* to lisi@'%' identified by 'user_password'; 

// 给lisi赋select权限，并允许在任意ip登录

flush privileges;

//刷新MySQL的系统权限相关表

由此，再进行RDS Mysql数据源的测试连通性就成功了。

三、结论&建议

当使用DataWorks数据集成功能，遇到数据源测试连通性失败的时候，可以依照上述排查思路，一步步排查，并请注意数据源中配置账号的权限问题。
点击有惊喜