您的位置:首页 > 运维架构

sqoop1的安装-基本操作

2017-11-06 00:00 369 查看
一、安装
1.解压
2.配置
a:
$ cd $SQOOP_HOME/conf
$ mv sqoop-env-template.sh sqoop-env.sh
打开sqoop-env.sh并编辑下面几行:
export HADOOP_COMMON_HOME=/apps/hadoop-2.8.1/
export HADOOP_MAPRED_HOME=/apps/hadoop-2.8.1/
export HIVE_HOME=hadoop/apps/hive
b:vi ~/.bashrc
export SQOOP_HOME=/apps/sqoop1
export PATH=$PATH: SQOOP_HOME/bin

source ~/.bashrc
3.加入mysql的jdbc驱动包
cp ~/app/hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib/

二、基本操作
注意:从word复制的 -- 有问题!!!
1.MySQL to HDFS
sqoop import \
--connect jdbc:mysql://192.168.222.140:3306/mytest \
--username root \
--password briup \
--table balance --m 1
2.MySQL to Hive
sqoop import --connect jdbc:mysql://192.168.222.140:3306/mytest --username root --password briup --table balance --hive-import --m 1
3.Mysql to HDFS指定目录
sqoop import \
--connect jdbc:mysql://192.168.222.140:3306/mytest \
--username root \
--password briup \
--target-dir /queryresult \
--table balance --m 1
4.HDFS to MySQL
sqoop export \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--table balance \
--export-dir /queryresult/
5.导入表数据子集
sqoop import \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--where "id=2" \
--target-dir /wherequery \
--table balance --m 1
6.增量导入
sqoop import \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--table balance --m 1 \
--incremental append \
--check-column id \
--last-value 3
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: