sqoop基本操作

sqoop基本操作

1. 查询mysql中的数据库

sqoop list-databases --connect jdbc:mysql://haoguan-HP-Compaq-Pro-6380-MT:3306 --username root --password 123456

2. import从mysql中导入数据到hdfs

create database testdb;
use testdb;
create table user(
id int not null auto_increment,
account varchar(255) default null,
password varchar(255) default null,
primary key(id)
);

insert into user(account, password) values('aaa', '123');
insert into user(account, password) values('bbb', '123');
insert into user(account, password) values('ccc', '123');
insert into user(account, password) values('ddd', '123');
insert into user(account, password) values('eee', '123');
insert into user(account, password) values('fff', '123');
insert into user(account, password) values('ggg', '123');
insert into user(account, password) values('hhh', '123');

注：--direct不能同时与 --as-sequencefile --as-avrodatafile --as-parquetfile连用
Parameters --as-sequencefile --as-avrodatafile and --as-parquetfile are not supported with --direct params in MySQL case.

1. MySql -> Hdfs -> Hive， parquet文件
(1) sqoop导入数据到hdfs中

sqoop import \
--connect jdbc:mysql://haoguan-HP-Compaq-Pro-6380-MT:3306/testdb \
--username root \
--password 123456 \
--table user \
--target-dir /sqoop/import/user_parquet \
--delete-target-dir \
--num-mappers 1 \
--as-parquetfile

(2) 利用导入的数据直接在hive中建表，无需再指定row format与fields terminated by

create external table user_from_mysql(
id int,
account string,
password string)
stored as parquet
location '/sqoop/import/user_parquet';

2. query,columns,where条件导入

(1) query, where子句必须有$CONDITIONS(固定写法)

sqoop import \
--connect jdbc:mysql://haoguan-HP-Compaq-Pro-6380-MT:3306/testdb \
--username root \
--password 123456 \
--query 'select id，account from from user where account="ddd" and $CONDITIONS' \
--target-dir /user/haoguan/sqoop/import/user_parquet \
--delete-target-dir \
--fields-terminated-by '\t' \
--num-mappers 1 \
--as-parquetfile

(2) columns指定导入的字段
注：--columns account,password字段之间不能有空格
用-P代替--password是为了不用明文指定数据库连接密码

sqoop import \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
-P \
--table user \
--columns account,password \
--target-dir /sqoop/import/user_column \
--delete-target-dir \
--fields-terminated-by '\t' \
--num-mappers 1 \
--direct

(3)where子句

sqoop import \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
--password 123456 \
--table user \
--where 'id > 5 and account like "f%"' \
--target-dir /sqoop/import/user_where \
--delete-target-dir \
--fields-terminated-by '\t' \
-m 1 \
--direct

3. MySql -> Hive
注： Mysql直接导入数据到Hive表中，不支持--as-parquetfile，即使在hive表创建的时候指定stored as parquet也无效
只能间接通过"MySql -> Hdfs -> Hive， parquet文件"转换
创建hive表user_to_hive
失败：

drop table if exists user_to_hive_parquet;
create table user_to_hive_parquet(
id int,
account string,
password string)
row format delimited fields terminated by '\t'
stored as parquet;

sqoop import \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
--password 123456 \
--table user \
--hive-import \
--hive-database testdb \
--hive-table user_to_hive_parquet \
--delete-target-dir \
--fields-terminated-by '\t' \
-m 1 \
--as-parquetfile

成功：只能普通文本文件导入

drop table if exists user_to_hive;
create table user_to_hive(
id int,
account string,
password string)
row format delimited fields terminated by '\t';

sqoop import \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
--password 123456 \
--table user \
--hive-import \
--hive-database testdb \
--hive-table user_to_hive \
--delete-target-dir \
--fields-terminated-by '\t' \
-m 1

4. Hdfs/Hive -> MySql
(1) 导入文本文件表
创建mysql中的表

create table user_from_hive like user;

导出数据到MySql

sqoop export \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
--password 123456 \
--table user_from_hive \
--export-dir /sqoop/import/user \
--input-fields-terminated-by '\t' \
-m 1

(2) 导入parquet文件表到Mysql
创建mysql中的表
create table user_from_hive_parquet like user;
导出数据到MySql
注：如果hive中文件是parquet格式，无需指定--input-fields-terminated-by '\t'

sqoop export \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
--password 123456 \
--table user_from_hive_parquet \
--export-dir /sqoop/import/user_parquet \
-m 1

5.增量导入到hdfs
注：从原表中id=5后面一行开始
(1) 增量导入文本文件textfile

sqoop import \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
--password 123456 \
--table user \
--target-dir /sqoop/import/user \
--fields-terminated-by '\t' \
-m 1 \
--check-column id \
--incremental append \
--last-value 5

(2) 增量导入parquet文件

方式一：不支持按指定条件追加数据，只能固定以某个列为标准追加
--check-column id 以ID列为标准
--incremental append 追加方式
--last-value 5 id = 5后面一行开始追加

sqoop import \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
--password 123456 \
--table user \
--target-dir /sqoop/import/user_parquet \
--fields-terminated-by '\t' \
--as-parquetfile \
-m 1 \
--check-column id \
--incremental append \
--last-value 5

方式二： 可以按指定条件把查询结果追加到表中
--append

sqoop import \
--connect jdbc:mysql://haoguan-HP-Compaq-Pro-6380-MT:3306/testdb \
--username root \
--password 123456 \
--query 'select * from user where id=5 and $CONDITIONS' \
--target-dir /sqoop/import/user \
--num-mappers 1 \
--append

(3)给hive表追加数据
给hive表导入数据
注：最好使用--delete-target-dir，否则在导入数据过程中hive会在/user/haoguan/user目录中生成_SUCCESS文件，下次再操作的时候，会报/user/haoguan/user目录已经存在

sqoop import \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
--password 123456 \
--table user \
--delete-target-dir \
--hive-import \
--hive-database testdb \
--hive-table user_to_hive \
--fields-terminated-by '\t' \
-m 1

可以在hive表目录中直接追加数据，也就相当于给hive追加数据了

sqoop import \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
--password 123456 \
--query 'select * from user where id=5 and $CONDITIONS' \
--fields-terminated-by '\t' \
-m 1 \
--append \

不支持在hive表中直接追加数据，以下操作会报异常

sqoop import \
--connect jdbc:mysql://109.123.121.104:3306/testdb \
--username root \
--password 123456 \
--query 'select * from user where id=5 and $CONDITIONS' \
--hive-import \
--hive-database testdb \
--hive-table user_to_hive \
--fields-terminated-by '\t' \
-m 1 \
--append