Sqoop2使用方法简介
2017-05-19 17:23
295 查看
1.sqoop2-shell 进入 shell
2.show connector 显示支持的连接方式
3.show link -all 查看已有连接的信息
ink with id 1 and name .168.1.188-1464317401319 (Enabled: true, Created by Administrator at 5/27/16 10:50 AM, Updated by Administrator at 5/27/16 10:50 AM)
Using Connector generic-jdbc-connector with id 4
Link configuration
JDBC Driver Class: com.mysql.jdbc.Driver
JDBC Connection String: ****************************************
Username:
Password:
JDBC Connection Properties:
4. create link -c 4 表示创建基于connector4 的link
创建的时候要输入步骤3显示的信息
5create job -f -t
-f 从哪个link
-t 到哪个link
(schema name,table name )和 table sql statement 是互斥的只能写其中一个
table sql statement 要写${CONDITIONS}
check column 和last value 两个参数用作增量更新
这里选择普通文件(TEXT_FILE)和不压缩(NONE)的方式进行导入,方便查看导入文件
创建成功会返回id
用show job -jid 18 查看job,id为18的详细信息
6.如果报错,想要显示具体的错误信息,可以执行下列语句。
sqoop:000> set option -name verbose -value true
Verbose option was changed to true
设置前
设置后,可以在报错信息中查看具体错误信息并排查。
start job -jid 18 -s
-s:表示实时显示job的执行进度,默认不写的话,只会显示到job开始
7status job -jid 18
显示 id为18的job的执行状态
显示执行成功
8.查看Hdfs控制台
表明已经导入成功,如果还不放心 可以用
hadoop dfs -cat /tmp/xktest/文件名
来查看文件具体内容是否和表中的相同。
2.show connector 显示支持的连接方式
3.show link -all 查看已有连接的信息
ink with id 1 and name .168.1.188-1464317401319 (Enabled: true, Created by Administrator at 5/27/16 10:50 AM, Updated by Administrator at 5/27/16 10:50 AM)
Using Connector generic-jdbc-connector with id 4
Link configuration
JDBC Driver Class: com.mysql.jdbc.Driver
JDBC Connection String: ****************************************
Username:
Password:
JDBC Connection Properties:
4. create link -c 4 表示创建基于connector4 的link
创建的时候要输入步骤3显示的信息
5create job -f -t
-f 从哪个link
-t 到哪个link
(schema name,table name )和 table sql statement 是互斥的只能写其中一个
table sql statement 要写${CONDITIONS}
check column 和last value 两个参数用作增量更新
这里选择普通文件(TEXT_FILE)和不压缩(NONE)的方式进行导入,方便查看导入文件
创建成功会返回id
用show job -jid 18 查看job,id为18的详细信息
6.如果报错,想要显示具体的错误信息,可以执行下列语句。
sqoop:000> set option -name verbose -value true
Verbose option was changed to true
设置前
设置后,可以在报错信息中查看具体错误信息并排查。
start job -jid 18 -s
-s:表示实时显示job的执行进度,默认不写的话,只会显示到job开始
7status job -jid 18
显示 id为18的job的执行状态
显示执行成功
8.查看Hdfs控制台
表明已经导入成功,如果还不放心 可以用
hadoop dfs -cat /tmp/xktest/文件名
来查看文件具体内容是否和表中的相同。
相关文章推荐
- WPF WebBrowser使用JavaScript调用外部方法决解方法简介
- 简介JavaScript中的setTime()方法的使用
- ncurses简介及其使用方法
- kettle简介(整体架构,运行方式,使用方法)
- JavaScript中的toLocaleDateString()方法使用简介
- JavaScript中的toLocaleDateString()方法使用简介
- vi 简介、使用方法、键盘图、中文帮助、快捷键
- 简介使用ASP.NET访问Oracle数据库的方法
- sed命令简介及在sed命令中使用变量的方法
- 简介AngularJS中使用factory和service的方法
- Java反射机制--基本使用方法简介
- VC创建动态库及其使用方法简介
- ICE Service使用方法简介 (2011-09-13 20:58:24)转载标签: 杂谈
- jQuery布局插件UI Layout简介及使用方法
- 基于移动平台的多媒体框架——使用live555接收流媒体方法简介 .
- JavaScript中使用指数方法Math.exp()的简介
- Qualcomm_Snapdragon_VR_SDK 2.1.1版本简介及使用方法(六)
- Jakarta Commons Digester 简介和具体使用方法
- html5学习笔记---03. Canvas简介,Canvas的使用方法
- sqlite3使用简介(内含解决sqlite内存的方法)