Hadoop数据传输工具sqoop(四)Java远程调用Sqoop进行数据传输
2014-11-26 19:19
806 查看
1、Maven配置
2、Java代码
3、查看导入结果
参考:
http://iyanlei.com/java_sqoop.html
http://blog.csdn.net/wuzhongju/article/details/8938159
《Sqoop Developer’s Guide v1.4.5》
《Sqoop User Guide (v1.4.1-incubating)》
<dependency> <groupId>org.apache.sqoop</groupId> <artifactId>sqoop</artifactId> <version>1.4.5</version> </dependency>
2、Java代码
@Service public class SqoopTestServiceImpl implements SqoopTestService { //测试代码 public static void main(String[] args) { try { new WordCountServiceImpl().importDataFromOracle(); } catch (Exception e){ e.printStackTrace(); } } @Override public int importDataFromOracle() { String[] args = new String[]{ "--connect", "jdbc:oracle:thin:@192.168.10.12:1521:ftmsdev", "--username", "ftms", "--password", "ftms", "--table", "SYSTEM_USER", "--columns", "LOGIN_NAME,PASSWORD", "--split-by", "USER_ID", "--target-dir", "ftms/tables/system_user" }; String[] expandedArgs = null; try { expandedArgs = OptionsFileUtil.expandArguments(args); } catch (Exception e){ System.err.println(ex.getMessage()); System.err.println("Try 'sqoop help' for usage."); } com.cloudera.sqoop.tool.SqoopTool tool = (com.cloudera.sqoop.tool.SqoopTool) SqoopTool.getTool("import"); //com.cloudera.sqoop.tool.SqoopTool tool = new ImportTool(); Configuration conf = new Configuration(); conf.set("fs.default.name", "hdfs://192.168.242.128:9000");//设置hadoop服务地址 Configuration pluginConf = SqoolTool.loadPlugins(conf); Sqoop sqoop = new Sqoop(tool, pluginConf); return Sqoop.runSqoop(sqoop, expandedArgs); } }
3、查看导入结果
$ hadoop dfs -ls ftms/tables …… /user/guzicheng/ftms/tables/system_user
参考:
http://iyanlei.com/java_sqoop.html
http://blog.csdn.net/wuzhongju/article/details/8938159
《Sqoop Developer’s Guide v1.4.5》
《Sqoop User Guide (v1.4.1-incubating)》
相关文章推荐
- Hadoop数据传输工具sqoop
- Sqoop是一款开源的工具,主要用于在HADOOP(Hive)与传统的数据库(mysql、oracle...)间进行数据的传递
- sqoop (Hadoop(Hive)与传统的数据库(mysql..)间进行数据的传递工具) 基础概念
- Hadoop数据传输工具sqoop(一)简介
- Hadoop数据传输工具sqoop(二)工具命令
- Hadoop数据传输工具sqoop
- Java api 调用Sqoop2进行MySQL-->Hive的数据同步
- Hadoop数据传输工具sqoop
- Hadoop数据传输工具sqoop
- Hadoop数据传输工具sqoop
- Hadoop数据传输工具sqoop
- Hadoop数据传输工具sqoop
- 用 Hadoop 进行分布式并行编程(四)Java远程调用Hadoop服务
- Hadoop数据传输工具sqoop(三)用Sqoop导入数据到HIVE
- Hadoop数据传输工具:Sqoop
- Hadoop数据传输工具:Sqoop
- Hadoop数据传输工具sqoop
- fiddler2调试工具脚本--本地假数据及远程调用
- 在eclipse下使用java调用weka 与 在MyEclipse中运行数据挖掘工具weka