Sqoop实现HADOOP与DB数据互导
2012-10-07 22:22
302 查看
环境准备
1.hadoop运行正常
2.mysql运行正常,能访问
方法
1.下载sqoop-1.4.1-incubating__hadoop-0.20.tar.gz安装至/sqoop-1.4.1
2.将mysql-connector-java-5.1.21-bin.jar复制至/sqoop-1.4.1/lib
3.修改bin/configure-sqoop
注释掉hbase zookeeper检查:
#if [ ! -d "${HBASE_HOME}" ]; then
# echo "Error: $HBASE_HOME does not exist!"
# echo 'Please set $HBASE_HOME to the root of your HBase installation.'
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo "Error: $ZOOKEEPER_HOME does not exist!"
# echo 'Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.'
# exit 1
#fi
4. 保证/etc/profile 有 export HADOOP_HOME=//hadoop
5..运行:
<1.列出DB的所有表
bin/sqoop list-tables --connect jdbc:mysql://ip:port/dbname --username root --password 123
<2.将一个表导入至hadoop
bin/sqoop import --connect jdbc:mysql://ip:port/dbname --username root --password 123 --table tbname -m 1
1.hadoop运行正常
2.mysql运行正常,能访问
方法
1.下载sqoop-1.4.1-incubating__hadoop-0.20.tar.gz安装至/sqoop-1.4.1
2.将mysql-connector-java-5.1.21-bin.jar复制至/sqoop-1.4.1/lib
3.修改bin/configure-sqoop
注释掉hbase zookeeper检查:
#if [ ! -d "${HBASE_HOME}" ]; then
# echo "Error: $HBASE_HOME does not exist!"
# echo 'Please set $HBASE_HOME to the root of your HBase installation.'
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo "Error: $ZOOKEEPER_HOME does not exist!"
# echo 'Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.'
# exit 1
#fi
4. 保证/etc/profile 有 export HADOOP_HOME=//hadoop
5..运行:
<1.列出DB的所有表
bin/sqoop list-tables --connect jdbc:mysql://ip:port/dbname --username root --password 123
<2.将一个表导入至hadoop
bin/sqoop import --connect jdbc:mysql://ip:port/dbname --username root --password 123 --table tbname -m 1
相关文章推荐
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 使用sqoop做桥梁实现oracle和hdfs之前数据互导(问题和心得)
- Sqoop实现MySql/Oracle与Hdfs/Hbase互导数据
- Sqoop实现Mysql与HDFS互导数据,Mysql与Hbase,Oracle与Hbase的互导最后给出命令。
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- Hadoop2.5.2+Sqoop-1.4.6(2.0以上的版本hadoop使用)伪分布式实现mysql数据上传到ndfs
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- Sqoop实现MySql/Oracle与Hdfs/Hbase互导数据
- 使用sqoop 在关系型数据库和Hadoop之间实现数据的抽取
- sqoop实现Mysql、Oracle与hdfs之间数据的互导
- 基于hadoop MR+berkeley DB实现的十亿级数据的秒级部署和实时查询的解决方案
- 用sqoop实现mysql和hive数据互导
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 利用Sqoop实现MySQL与HDFS数据互导