Webservice接口数据抽取_kettel<一>
2016-05-03 10:23
281 查看
在进行ETl数据抽取的时,有时会遇到Webservice接口服务的情况;这里对kettel工具和java脚本两种抽取方式来简单的介绍一下。
由于篇幅较长,我分四篇来介绍;下一篇地址: (Webservice接口数据抽取_kettel<二>)
先看第一篇:
kettel工具方式:
一、Webservice服务查询。
这里利用常见的天气信息的接口来做演示。(http://www.webxml.com.cn/WebServices/WeatherWebService.asmx)
1、webservice接口的简单介绍:
a、调试接口,可以通过jemeter、soupUI等工具,也可以通过浏览器直接来调试。如下
访问接口的地址,可以看到网页上有5个关于该天气接口的方法:getSupportCity、getSupportDataSet、getSupportProvince、getWeatherbyCityName、getWeatherbyCityNamePro。下面来调试一下getWeatherbyCityName方法
结果:
这样我们就确定该服务是没有问题的,接下来我们就来演示抽取getWeatherbyCityName方法的返回数据。
b、用kettel调该接口,需要将接口转成URL的形式(加上?WSDL):
http://www.webxml.com.cn/WebServices/WeatherWebService.asmx?WSDL
同样我们也可以看到该接口的方法:
2、kettel的web服务查询
kettel调用接口用的是‘web服务查询’查询这个组件。
a、web服务查询介绍
加载URL:输入地址,加载出方法名,说明接头是通的。
输入参数:
输出参数:
3、查询流程
a、生成变量:
c、文本文件输出:
d、结果查看
二、一些需要注意的地方
a、web服务查询时,有时候需要将放回的XML转成String。因为有时候kettel会自动的将XML的节点元素去掉,以后解析时就会出问题:
b、这个例子中,我将XML直接输出到txt文档的(在输入的时候就要选全部文档,不然看不见txt)。因为转成XML文件有时候会出现乱码现象。
c、生产记录时,要限制1次,不然会重复调接口,返回多个XML文件。
d、在文本文件输出时,要将头部去掉,并选择正确的编码格式,不然后面解析时会报错
接口调用成功了,下一编将介绍,kettel解析返回的XML文件,并存储数据库,地址如下:
(Webservice接口数据抽取_kettel<二>)
由于篇幅较长,我分四篇来介绍;下一篇地址: (Webservice接口数据抽取_kettel<二>)
先看第一篇:
kettel工具方式:
一、Webservice服务查询。
这里利用常见的天气信息的接口来做演示。(http://www.webxml.com.cn/WebServices/WeatherWebService.asmx)
1、webservice接口的简单介绍:
a、调试接口,可以通过jemeter、soupUI等工具,也可以通过浏览器直接来调试。如下
访问接口的地址,可以看到网页上有5个关于该天气接口的方法:getSupportCity、getSupportDataSet、getSupportProvince、getWeatherbyCityName、getWeatherbyCityNamePro。下面来调试一下getWeatherbyCityName方法
结果:
这样我们就确定该服务是没有问题的,接下来我们就来演示抽取getWeatherbyCityName方法的返回数据。
b、用kettel调该接口,需要将接口转成URL的形式(加上?WSDL):
http://www.webxml.com.cn/WebServices/WeatherWebService.asmx?WSDL
同样我们也可以看到该接口的方法:
2、kettel的web服务查询
kettel调用接口用的是‘web服务查询’查询这个组件。
a、web服务查询介绍
加载URL:输入地址,加载出方法名,说明接头是通的。
输入参数:
输出参数:
3、查询流程
a、生成变量:
c、文本文件输出:
d、结果查看
二、一些需要注意的地方
a、web服务查询时,有时候需要将放回的XML转成String。因为有时候kettel会自动的将XML的节点元素去掉,以后解析时就会出问题:
b、这个例子中,我将XML直接输出到txt文档的(在输入的时候就要选全部文档,不然看不见txt)。因为转成XML文件有时候会出现乱码现象。
c、生产记录时,要限制1次,不然会重复调接口,返回多个XML文件。
d、在文本文件输出时,要将头部去掉,并选择正确的编码格式,不然后面解析时会报错
接口调用成功了,下一编将介绍,kettel解析返回的XML文件,并存储数据库,地址如下:
(Webservice接口数据抽取_kettel<二>)
相关文章推荐
- Asp.net gzip压缩的启用
- linux和win7设置静态ip
- git 操作远程 本地缓存删除
- iOS iTuns Connect官方配置教程
- 从物理执行角度透视Spark Job(23)
- JAVA: Socket和ServerSocket网络编程
- Retrofit2 源码解析 理解原理能帮助我们更好的使用框架
- Lucene5学习之LuceneUtils工具类简单封装
- ASP.NET数据网格控件WebGrid Enterprise全新发布v10|附下载
- 骨牌铺方格
- [WEB]服务器访问原理与Tomcat服务器安装配置
- 文科生也会搭的微信个人号后台
- Java final static abstract关键字介绍
- Swift--访问级别-备
- 让PHP 7 运行更加神速
- Java对象克隆(Clone)及Cloneable接口、Serializable接口的深入探讨
- DRL前沿之:End to End Learning for Self-Driving Cars
- uart协议及接口
- JS DOM常用对象的属性和方法
- EasyX—模拟小球自由落体