使用sqoop 在关系型数据库和Hadoop之间实现数据的抽取
2014-10-22 17:00
597 查看
(一)从关系型数据库导入至HDFS
1.将下面的参数保持为 import.script
import
--connect
jdbc:mysql://192.168.1.14:3306/test
--username
root
--password
1234
-m
1
--null-string
''
--table
user
--columns
"id,username,age"
--target-dir
/user/root/sqoop_test -- 此目录不能存在
2. 执行sqoop --options-file ./import.script
(二)从HDFS 导入至关系型数据库
1.将下面的参数保持为 export.script
export
--connect
jdbc:mysql://192.168.1.14:3306/test
--username
root
--password
1234
--null-string
''
--table
user
--columns
"id,username,age"
--export-dir
/user/root/sqoop_test
2. 执行sqoop --options-file ./import.script
将jar 文件 mysql-connector-java.jar(mysql 驱动) sqljdbc4.jar(sqlserver 驱动)[b]拷贝至 /var/lib/sqoop/ 下[/b]
1.将下面的参数保持为 import.script
import
--connect
jdbc:mysql://192.168.1.14:3306/test
--username
root
--password
1234
-m
1
--null-string
''
--table
user
--columns
"id,username,age"
--target-dir
/user/root/sqoop_test -- 此目录不能存在
2. 执行sqoop --options-file ./import.script
(二)从HDFS 导入至关系型数据库
1.将下面的参数保持为 export.script
export
--connect
jdbc:mysql://192.168.1.14:3306/test
--username
root
--password
1234
--null-string
''
--table
user
--columns
"id,username,age"
--export-dir
/user/root/sqoop_test
2. 执行sqoop --options-file ./import.script
将jar 文件 mysql-connector-java.jar(mysql 驱动) sqljdbc4.jar(sqlserver 驱动)[b]拷贝至 /var/lib/sqoop/ 下[/b]
相关文章推荐
- 使用sqoop实现关系型数据库、HDFS、Hive之间数据的导入导出
- Sqoop在Hadoop和关系型数据库之间的数据转移
- 今天发现了一篇介绍Sqoop中通过hadoop mapreduce从关系型数据库import数据分析
- 数据、进程-云计算学习笔记---Hadoop简介,hadoop实现原理,NoSQL介绍...与传统关系型数据库对应关系,云计算面临的挑战-by小雨
- <关于数据仓库>基于docker的Mysql与Hadoop/Hive之间的数据转移 (使用Apache Sqoop™)
- 使用Sqoop导入导出关系型数据库数据
- 开始玩hadoop14 ---从sql 关系数据库和 hadoop 之间的数据交换---Sqoop
- Sqoop源码分析(四) Sqoop中通过hadoop mapreduce从关系型数据库import数据分析
- sh调取sqoop脚本每天增量跑数据 从hadoop到关系型数据库
- 用Java实现从Xml抽取数据到关系型数据库
- Hadoop2.5.2+Sqoop-1.4.6(2.0以上的版本hadoop使用)伪分布式实现mysql数据上传到ndfs
- Sqoop实现关系型数据库到hive的数据传输
- 通过xalan实现关系型数据库到XML的数据交换
- 使用水晶报表的共享变量(Shared)即可实现在主/子报表之间的数据共享
- 使用navicat8通过数据转移实现更新 和 数据库保存实现备份[图文]
- 使用共享变量实现主报表及子报表之间的数据共享
- 使用navicat8实现创建数据库和导入数据[图文]
- 不使用组件实现多个图片与文本数据同时写入数据库(4)
- 主流数据库之间对SQL:2003标准的不同实现方法比较(第四部分 查询结果集中间n行数据)
- 使用ADO实现vc中二进制文件数据的存取(以图像在数据库中的存取为例)