sqoop1的安装-基本操作
2017-11-06 00:00
369 查看
一、安装
1.解压
2.配置
a:
$ cd $SQOOP_HOME/conf
$ mv sqoop-env-template.sh sqoop-env.sh
打开sqoop-env.sh并编辑下面几行:
export HADOOP_COMMON_HOME=/apps/hadoop-2.8.1/
export HADOOP_MAPRED_HOME=/apps/hadoop-2.8.1/
export HIVE_HOME=hadoop/apps/hive
b:vi ~/.bashrc
export SQOOP_HOME=/apps/sqoop1
export PATH=$PATH: SQOOP_HOME/bin
source ~/.bashrc
3.加入mysql的jdbc驱动包
cp ~/app/hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib/
二、基本操作
注意:从word复制的 -- 有问题!!!
1.MySQL to HDFS
sqoop import \
--connect jdbc:mysql://192.168.222.140:3306/mytest \
--username root \
--password briup \
--table balance --m 1
2.MySQL to Hive
sqoop import --connect jdbc:mysql://192.168.222.140:3306/mytest --username root --password briup --table balance --hive-import --m 1
3.Mysql to HDFS指定目录
sqoop import \
--connect jdbc:mysql://192.168.222.140:3306/mytest \
--username root \
--password briup \
--target-dir /queryresult \
--table balance --m 1
4.HDFS to MySQL
sqoop export \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--table balance \
--export-dir /queryresult/
5.导入表数据子集
sqoop import \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--where "id=2" \
--target-dir /wherequery \
--table balance --m 1
6.增量导入
sqoop import \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--table balance --m 1 \
--incremental append \
--check-column id \
--last-value 3
1.解压
2.配置
a:
$ cd $SQOOP_HOME/conf
$ mv sqoop-env-template.sh sqoop-env.sh
打开sqoop-env.sh并编辑下面几行:
export HADOOP_COMMON_HOME=/apps/hadoop-2.8.1/
export HADOOP_MAPRED_HOME=/apps/hadoop-2.8.1/
export HIVE_HOME=hadoop/apps/hive
b:vi ~/.bashrc
export SQOOP_HOME=/apps/sqoop1
export PATH=$PATH: SQOOP_HOME/bin
source ~/.bashrc
3.加入mysql的jdbc驱动包
cp ~/app/hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib/
二、基本操作
注意:从word复制的 -- 有问题!!!
1.MySQL to HDFS
sqoop import \
--connect jdbc:mysql://192.168.222.140:3306/mytest \
--username root \
--password briup \
--table balance --m 1
2.MySQL to Hive
sqoop import --connect jdbc:mysql://192.168.222.140:3306/mytest --username root --password briup --table balance --hive-import --m 1
3.Mysql to HDFS指定目录
sqoop import \
--connect jdbc:mysql://192.168.222.140:3306/mytest \
--username root \
--password briup \
--target-dir /queryresult \
--table balance --m 1
4.HDFS to MySQL
sqoop export \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--table balance \
--export-dir /queryresult/
5.导入表数据子集
sqoop import \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--where "id=2" \
--target-dir /wherequery \
--table balance --m 1
6.增量导入
sqoop import \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--table balance --m 1 \
--incremental append \
--check-column id \
--last-value 3
相关文章推荐
- Apache Sqoop数据转换安装配置与基本操作命令
- Nosql之Mongodb 1 安装配置与基本操作
- linux MySQL 5.5.20 安装和基本操作
- SQLite3 安装、基本操作
- CentOS7 Docker安装操作以及基本命令
- Linux基本操作系列(一):在CentOS 6.8安装JDK(Java环境)
- Linux基本操作系列(二):在CentOS 6.8系统上安装Tomcat并配置自动启动
- Linux基本操作系列(三):在CentOS 6.8系统上安装MySQL 5.7
- Linux系统(X64)安装Oracle11g完整安装图文教程另附基本操作
- Windows环境下安装Redis和基本操作
- Hbase集群安装和基本操作
- Linux 安装Oracle11g完整安装图文教程另附基本操作 (分享)
- sqoop环境配置AND常用基本操作01
- Sqlite 安装&基本操作
- NoSQL理论基础及安装、基本操作
- MySQL for Mac 安装和基本操作
- SecureCRT安装与基本操作(转)
- CentOS 5.5下Xen虚拟机的安装及基本操作
- MySQL for Mac 安装和基本操作