高效传输数据格式以及基于HTTP2的RPC框架---gRPC的使用
2017-05-05 15:48
1486 查看
ProtoBuffer的介绍
google有一款非常高效的数据传输格式框架ProtoBuffer。在java中使用protobuffer作为序列化效率比jdk自身的serializable接口效率高的多(github上有个对于序列号性能的研究https://github.com/eishay/jvm-serializers/wiki),这在缓存的时候效率非常高。当然,如此优秀的数据格式框架并不是仅仅使用在缓存上的,既然压缩(姑且将其简单理解为压缩算法吧)如此高效,那么使用在网络IO传输中比JSON或许XML而言效率也为提升很多吧。gRPC的介绍
gRPC是google开发的一款RPC框架,RPC Server与RPC Clinet之间的数据传输就是刚刚提到的ProtoBuffer,并且该RPC框架还是基于HTTP2的。因此,HTTP2的多路复用,基于流的传输在gRPC上也有相应的实现。ProtoBuffer格式的定义
PrototBuffer的官方文档:https://developers.google.com/protocol-buffers/docs/proto3笔者贴出在实际使用中的格式定义文件.proto:
syntax = "proto3"; package vsig; service VSIGProto { rpc setAcl (ACLRequest) returns (Reply) {} rpc openNtp (NTPConfig) returns (Reply) {} } message ACLRequest { string extranetIp = 1; int32 devType = 2; string intranetIp = 3; } message InterfaceInfoRequest { string name =1; string ip = 2; string mask=3; string gateway=4; } message NTPInfoRequest{ bool state = 1; string ntpServerIp =2; int32 ntpServerPort =3; } message NTPConfig{ NTPInfoRequest ntpInfo = 1; InterfaceInfoRequest br0Info = 2; } message Reply { string message = 1; }
.proto文件中主要定义了三部分东西:
RPC的方法名以及接受的参数和返回的参数
RPC方法接受参数的格式
RPC方法返回的格式
一个方法仅能接受一个参数,因为笔者定义NTPConfig里面又包含了两个对象,这样保证了openNtp方法仅接收了一个对象
对于定义的message,每个值都有一个唯一的number类型的数字,根据官方文档的解释:它是用于以消息二进制格式标识字段,并且在使用过程中不能随便更改,否则会导致数据无法还原。同时,如果数字定义为1~15则使用一个字节来存储,而16~2047需要使用两个字节来存储。
gRPC Server的实现
定义好.proto之后就可以使用该文件来使用grpc客户端与服务器端了,gRPC的客户端与服务器端必须使用同一个.proto文件gRPC支持众多常见的编程语言,笔者使用java与node两种语言实现gRPC。
NodeJS gRPC Server实现
package.json:{ "name": "grpc-examples", "version": "0.1.0", "dependencies": { "async": "^1.5.2", "google-protobuf": "^3.0.0", "grpc": "^1.0.0", "lodash": "^4.6.1", "minimist": "^1.2.0" } }
gRPC服务器的编码实现:
//上述定义的.proto的路径 const PROTO_PATH = '../../vsig.proto'; const grpc = require( 'grpc' ); //最后vsig是.proto中的package const proto = grpc.load( PROTO_PATH ).vsig; //定义rpc Server的ip与端口 const rpcHost = '127.0.0.1'; const rpcPort = 50051; //定义方法的映射,因为方法最终是在该类中实现的,因此定义改类与.proto中的方法的映射。左边为.proto中的方法名,右边为实现 const methodCover = { setAcl: setAcl, openNtp: openNTP }; function setAcl( call, callback ) { //call.request即为该方法在.proto中定义的参数接收的message对象 console.log( call.request); //该回调即为对客户端的方法,参数1是error,参数二与.proto中方法的返回值对应 callback( null, { message: "rpc call setAcl method success" } ) } function openNTP( call, callback ) { const ntpInfo = call.request; console.log(ntpInfo); callback(null,{ message:"rpc call openNTP call success" }) } function main() { var server = new grpc.Server(); //VSIGProto即为.proto中的server的名称,参数二为方法映射 server.addProtoService( proto.VSIGProto.service, methodCover ); const grpcIn = grpc.ServerCredentials.createInsecure(); //绑定端口 server.bind( rpcHost + ":" + rpcPort, grpcIn ); //启动 server.start(); } main();
Java gRPC Server的实现
gRPC Client的实现
如上定义好服务端之后,将监听指定的端口,客户端只需要对改端口发送请求即可。Node gRPC Client的实现
const PROTO_PATH = '../vsig.proto'; const grpc = require( 'grpc' ); //最后vsig是.proto中的package const proto = grpc.load( PROTO_PATH ).vsig; const rpcHost = '127.0.0.1'; const rpcPort = 50051; //VSIGProto是.proto中service中的VSIGProto const client = new proto.VSIGProto( rpcHost + ":" + rpcPort, grpc.credentials.createInsecure() ); class RpcClient { setAcl( acl, cb ) { //执行rpc调用 client.setAcl( acl, function( err, response ) { cb( err, response ) } ); } //封装RPC的方法 openNTP( ntpconfig, cb ) { //执行rpc调用 client.openNtp( ntpconfig, function( err, response ) { cb( err, response ); } ); } } const rpcClient = new RpcClient(); module.exports = rpcClient;
Java gRPC Client的实现
相关文章推荐
- 基于Web Service的客户端框架搭建一:C#使用Http Post方式传递Json数据字符串调用Web Service
- 基于android RPC网络框架的Camera数据传输
- 基于Web Service的客户端框架搭建一:C#使用Http Post方式传递Json数据字符串调用Web Service
- 基于Web Service的客户端框架搭建一:C#使用Http Post方式传递Json数据字符串调用Web Service
- 基于Web Service的客户端框架搭建一:C#使用Http Post方式传递Json数据字符串调用Web Service
- 使用xml/json格式传输数据 spring mvc(HttpMessageConverter<T>的使用)
- 使用开源框架android-async-http-1.4.8.jar与服务器传输数据
- SSH三大框架集成中,使用jQuery框架 Ajax技术返回json格式的数据(二)
- android在使用apache http类库的时候实现zip传输数据
- Flex与.NET互操作(四):使用HttpService、URLReqeust和URLLoader加载/传输数据
- [转]Android上GTalk以及Push机制的XMPP数据选择使用protobuf格式而非XML格式
- ZK框架简介,以及在ZK下使用JXL读取Excel模板,导出数据模型到Excel的方法
- 项目中基于Rest的Wcf服务发布以及iBatisNet框架的使用(上)
- Flex与.NET互操作(四):使用HttpService、URLReqeust和URLLoader加载/传输数据
- Flex与.NET互操作(四):使用HttpService、URLReqeust和URLLoader加载/传输数据
- Flex与.NET互操作(四):使用HttpService、URLReqeust和URLLoader加载/传输数据
- 使用ByteArray实现数据的传输,以及协议的分解.
- 取从textarea中存到MYSQL的数据以原格式显示问题以及解决MySQL日期处理和标签的使用
- Javaの网络数据传输之Http消息格式
- Flex与.NET互操作(四):使用HttpService、URLReqeust和URLLoader加载/传输数据