sqoop简单操作-从mysql导入导出数据

一，将本地数据放入hive表中

1，本地数据

本地文件data1.txt中有两列数据，如下：

1 aaa
2 bbb
3 ccc
4 ddd
5 eee
...

2，在hive中创建表

hive> create table table1
> (id int,name string)
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY ' '
> STORED AS TEXTFILE;
OK
Time taken: 0.082 seconds

列与data1.txt中的数据对应，并给出数据分割的字符，在data1.txt中是空格符“ ” 所以FIELDS TERMINATED BY ' '

3，上传文件中的数据到表table1中

hive> load data local inpath 'data1.txt' into table table1;
Copying data from file:/home/hadoop/test_data/data1.txt
Copying file: file:/home/hadoop/test_data/data1.txt
Loading data to table default.table1
Table default.table1 stats: [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 131, raw_data_size: 0]
OK
Time taken: 0.326 seconds

注意：hive本身是不存储数据的，简单一点来说可以把它看做是mapreduce的一个包装，让使用者可以通过简单的方式调用mapreduce来访问hdfs中的数据。事实上它的数据本身还是放在hdfs上的。还记得之前在配置的时候设置了hive在hdfs中的warehouse吗？那就是hive放数据的地方。那就看一下table1的数据位置吧：

hive> dfs -ls /user/hive/warehouse/table1
> ;
Found 1 items
-rw-r--r--   1 hadoop supergroup        131 2014-10-20 09:06 /user/hive/warehouse/table1/data1.txt

可以看到实际上它只是把data1.txt放到了自己对应的hdfs的目录下，table1的数据本事还是存储在data1.txt这个文本文件中的。

查询一下table1中的数据：

hive> select * from table1;
OK
1	aaa
2	bbb
3	ccc
4	ddd
5	eee
...
Time taken: 0.093 seconds, Fetched: 20 row(s)

data1.txt中的数据也就存在于表table1中了。

二，通过sqoop把hive中的表导出到mysql数据库

1，在mysql中创建表用来存储导入数据

mysql> use hive
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed

选择数据库hive

mysql> create table import1 (id int,name varchar(10));
Query OK, 0 rows affected (0.07 sec)

创建表import1用来存储数据

2，利用sqoop将hive中的表导出到mysql的表中

sqoop export -connect jdbc:mysql://localhost/hive -username hive -password mysql -table import1 -export-dir /user/hive/warehouse/table1 -input-fields-terminated-by ' '

实际上还是从hdfs中导出文件到mysql，所以还是要给出input-fields-terminated-by ' '

再查看mysql中的表import中的数据：

mysql> select * from import1
-> ;
+------+------+
| id   | name |
+------+------+
|   17 | qqq  |
|   18 | rrr  |
|   19 | sss  |
|   20 | ttt  |
...
|   14 | nnn  |
|   15 | ooo  |
|   16 | ppp  |
+------+------+
20 rows in set (0.00 sec)

可以看到乱序了，这是因为mapreduce的原因...

三，通过sqoop将mysql中的表导入到hive

sqoop import --connect jdbc:mysql://localhost/hive --username hive --password mysql --table import1 --split-by 'id'

这里也要给出split-by参数，sqoop通过这里的参数值来分配mapreduce任务。sqoop会将切分的不同区域的任务分配给不同的map中。每个map再从数据库中一行一行的获取值然后写入到hdfs中。split-by根据不同的参数有不同的切分方法，例如int型，它会选取最大的值和最小的值根据传入的-m参数（默认为1）来确定划分几个区域。默认的split-by参数是要导入的表的主键，如果没有给出参数又没有主键，导入操作就会失败报错。

导入完成之后查看hive中的数据：

hive> select * from import1;
OK
1	aaa
2	bbb
3	ccc
...
19	sss
20	ttt
16	ppp
Time taken: 0.293 seconds, Fetched: 20 row(s)