sqoop导oracle数据到hive中并动态分区

静态分区:

在hive中创建表可以使用

hql

test.hql

USE TEST;
CREATE TABLE page_view(viewTime INT, userid BIGINT,
page_url STRING, referrer_url STRING,
ip STRING COMMENT 'IP Address of the User')
COMMENT 'This is the page view table'
PARTITIONED BY(dt STRING)
STORED AS SEQUENCEFILE;

注意，分区字段不能与表中的字段重复，不然会执行出错

执行

hql

$ hive -f test.hql

手动添加分区：

hive> ALTER TABLE page_view add PARTITION (dt=2018)

创建好分区后，hive会在HDFS存储中创建相应的路径:

$ hadoop fs -ls /user/hive/warehouse/page_view
drwxr-xr-x - admin supergroup 0 2011-07-29 09:53 /user/hive/warehouse/page_view/dt=2018

或者使用

hive> dfs -ls /user/hive/warehouse/page_view

使用

sqoop

sqoop_test.sh

#!/bin/sh

sqoop import                                            \
--connect jdbc:oracle:thin:@127.0.0.1:1521:orcl         \
--username test                                         \
--password 123456                                       \
--columns "viewTime,userid,page_url,referrer_url,ip"    \
--hive-partition-key "dt"                               \
--hive-partition-value "2018"                           \
--query "SELECT viewTime,userid,page_url,referrer_url,ip from page_view  WHERE 1=1 and \$CONDITIONS" \
--hive-table test.page_view                             \
--hive-drop-import-delims                               \
--target-dir "/data/test/page_view"                     \
--hive-overwrite                                        \
--null-string '\\N'                                     \
--null-non-string '\\N'                                 \
--hive-import;

在使用sqoop导入数据的时候可以指定分区，但是

--hive-partition-key

--hive-partition-value

--hcatalog-partition-keys

--hcatalog-partition-values

动态分区:

​ 手动分区灵活性太低，当分区数较多的时候一个个分区单独去加载数据的话工作量太大，这时候可以考虑动态分区。动态分区是基于hive中的源数据表将数据插入到分区表中，在数据插入的时候会根据分区字段自动将数据归类存入对应的分区路径，而不需要手动指定分区路径。要使用动态分区必须要先开启动态分区:

hive> SET hive.exec.dynamic.partition=true;

hive> SET hive.exec.dynamic.partition.mode=nonstrict;

hive> SET hive.exec.max.dynamic.partitions.pernode=1000;

然后创建一张没有分区字段的源数据表(与分区字段对应的字段放后面，与分区表的保持一致):

USE TEST;
CREATE TABLE original_page_view(viewTime INT, userid BIGINT,
page_url STRING, referrer_url STRING,
ip STRING COMMENT 'IP Address of the User',
dt STRING COMMENT 'view date')
COMMENT 'This is the page view table'
STORED AS SEQUENCEFILE;

并使用sqoop脚本从oracle导入数据到表

original_page_view

original_sqoop_test.sh

#!/bin/sh

sqoop import                                            \
--connect jdbc:oracle:thin:@127.0.0.1:1521:orcl         \
--username test                                         \
--password 123456                                       \
--columns "viewTime,userid,page_url,referrer_url,ip,dt"    \
--query "SELECT viewTime,userid,page_url,referrer_url,ip,dt from page_view  WHERE 1=1 and \$CONDITIONS" \
--hive-table test.original_page_view                             \
--hive-drop-import-delims                               \
--target-dir "/data/test/page_view"                     \
--hive-overwrite                                        \
--null-string '\\N'                                     \
--null-non-string '\\N'                                 \
--hive-import;

数据导入完毕后，执行如下语句即可将

original_page_view

page_view

hive> insert overwrite table page_view partition(dt) select * from original_page_view;

查看分区情况：

hive> dfs -ls /user/hive/warehouse/page_view

相关参数说明:

参考链接:

https://community.hortonworks.com/questions/43982/sqoop-insert-into-partitioned-table.html

https://www.geek-share.com/detail/2542779528.html

https://www.cnblogs.com/charlist/p/7122113.html

https://www.geek-share.com/detail/2705324302.html