记录一次mysql迁移数据至greenplum的过程

测试环境Ubuntu16.04，基于mysql和greenplum在同一台服务器上（当然也可以通过外网或者局域网）。安装greenplum链接http://blog.csdn.net/wayne_primes/article/details/79414936首先感谢对mysql2gpsql开源软件奉献的大牛们
该项目成员该项目由阿里云 PostgreSQL 小组开发，为 PostgreSQL 世界贡献一份力量
PM & 架构设计 曾文旌（义从）
PD 萧少聪（铁庵）
TESTER & 技术支持 周正中(德歌)
DEV 张广舟（明虚）曾文旌（义从）
mysql2pgsql开源文档https://github.com/aliyun/rds_dbsync/releases?spm=a2c4g.11186623.2.4.yOPYKdmysql2pgsql参数文档https://github.com/aliyun/rds_dbsync/blob/master/doc/mysql2gp.mdmysql2pgsql问题答疑https://github.com/aliyun/rds_dbsync/issues?q=is%3Aissue+is%3Aclosed

mysql2pgsql 用法mysql2pgsql 的用法如下所示：/mysql2pgsql -l <tables_list_file> -d -n -j <number of threads> -s <schema of target able>执行如下命令，同步一个库中所有表：/mysql2pgsql参数说明：-l：可选参数，指定一个文本文件，文件中含有需要同步的表；如果不指定此参数，则同步配置文件中指定数据库下的所有表。<tables_list_file>为一个文件名，里面含有需要同步的表集合以及表上查询的条件，其内容格式示例如下：
table1 : select * from table_big where column1 < '2016-08-05'table2 : table3table4: select column1, column2 from tableX where column1 != 10table5: select * from table_big where column1 >= '2016-08-05'-d：可选参数，表示只生成目的表的建表 DDL 语句，不实际进行数据同步。
-n：可选参数，需要与-d 一起使用，指定在 DDL 语句中不包含表分区定义。
-j：可选参数，指定使用多少线程进行数据同步；如果不指定此参数，会使用 5 个线程并发。
-s：可选参数，指定目标表的 schema，一次命令只能指定一个 schema。如果不指定此参数，则数据会导入到 public 下的表。

首先下载mysql2pgsqlwget https://github.com/aliyun/rds_dbsync/files/919279/mysql2pgsql.bin.el6.20170413.tar.gz
解压后进入到bin目录下，按需求修改my.cfg注意：源库 mysql 的连接信息中，用户需要有对所有用户表的读权限。（按需修改）[src.mysql]host = "192.168.1.1"port = "3306"user = "test"password = "test"db = "test"encodingdir = "share"encoding = "utf8"目的库 pgsql （包括 Postgresql、PPAS 和 HybridDB for PostgreSQL ）的连接信息如下：注意：目的库 pgsql 的连接信息，用户需要对目标表有写的权限。[desc.pgsql]connect_string = "host=192.168.1.1 dbname=test port=5888 user=test password=pgsql"典型用法例如我期望从源mysql端的test1数据库中同步user_info表中的所有信息首先执行./mysql2gpsql -d #用于读取my.cfg配置指定源数据库中的所有表的DDL表结构。例如CREATE TABLE user_info (user_id int4, feedback_userid text, feedback_username text, feedback_content text, feedback_time timestamp, create_time timestamp, update_time timestamp, del_flg text) with (APPENDONLY=true, ORIENTATION=column, COMPRESSTYPE=zlib, COMPRESSLEVEL=1, BLOCKSIZE=1048576, OIDS=false) DISTRIBUTED BY (<distribution key>) PARTITION BY RANGE (<partition key>) (START (date '<YYYY-MM-DD>') INCLUSIVE END (date '<YYYY-MM-DD>') EXCLUSIVE EVERY (INTERVAL '<1 month>' ));通过./mysql2pgsql -d命令获取的mysql表结构信息不完整，例如表的注释，主键，字段注释等都不会获取到，所以需要复制你所需的建表信息并加以修改,在greenplum端先用列出来的建表信息加以修改之后并执行，如果目的数据库中没有对应的表的话，执行同步命令会失败，所以必须先对应建立每一张表例如CREATE TABLE user_info (user_id int4, feedback_userid text, feedback_username text, feedback_content text, feedback_time timestamp, create_time timestamp, update_time timestamp, del_flg text,CONSTRAINT "user_info_pkey" PRIMARY KEY ("user_id"))WITH (OIDS=FALSE);ALTER TABLE "public"."user_info" OWNER TO "gpadmin";COMMENT ON TABLE "public"."user_info" IS '用户表(全局)';COMMENT ON COLUMN "public"."user_info"."user_id" IS '用户编号';
创建完毕后在mysql2pgsql的根目录，创建一个tables_list_file文件用于同步例如 table_lists.txttable_lists.txt文件中内容：user_info : select * from user_info
执行同步命令mysql2gpsql主要注意的是源库 mysql 的连接信息中，用户需要有对所有用户表的读权限目的库 pgsql 的连接信息，用户需要对目标表有写的权限./mysql2gpsql -l table_lists.txt

以上就是我在工作中使用到的mysql迁移其中一张表至greenplum的过程。如果需要迁移所有库，所有表，需要大量的时间投入，建表，加主键，同步，验证数据完整性。

PS：运维工作并不是键盘敲的快才算牛，细心谨慎认真对待每一份工作。不论是工作也好，还是生活。