RPC和HDFS文件读写(下载上传)过程
2016-04-27 09:53
519 查看
1 RPC
RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。
RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行。
Hadoop的整个体系结构就是构建在RPC之上的。(见org.apache.hadoop.ipc)RPC示例程序:
(1)接口
package captain.hadoop.rpc; //RPC服务器端所需实现的自定义接口,其中包含了服务器端远程方法在该接口中的抽象方法,以及一个版本号属性。 public interface Bizable { public static final long versionID = 1000010; public String sayHi(String name); }(2)服务端
package captain.hadoop.rpc; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.ipc.RPC; import org.apache.hadoop.ipc.Server; //RPC的服务器端,其底层实际是使用的socket通信。 public class RPCServer implements Bizable { //一个远程方法。需要在该类所实现的自定义接口中声明为抽象方法并在该类中实现该方法。 public String sayHi(String name){ return "Hi, " + name; } public static void main(String[] args) throws Exception { //得到服务器对象。注意使用了RPC类的内部类Builder及其方法。 Server server = new RPC.Builder(new Configuration()).setProtocol(Bizable.class).setInstance(new RPCServer()).setBindAddress("192.168.1.9").setPort(5555).build(); //开启服务器 server.start(); } }(3)客户端
package captain.hadoop.rpc; import java.net.InetSocketAddress; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.ipc.RPC; //RPC的客户端,其底层实际是使用的socket通信。 public class RPCClient { public static void main(String[] args) throws Exception { //得到代理对象。注意使用了RPC类的getProxy方法。 Bizable proxy = RPC.getProxy(Bizable.class, 1000010, new InetSocketAddress("192.168.1.9",5555), new Configuration()); //使用代理对象调用远程方法 String result = proxy.sayHi("kellie"); System.out.println(result); //停止代理 RPC.stopProxy(proxy); } }
2 HDFS文件读(下载)过程
HDFS读取文件过程,实际上是一个RPC通信的过程,在客户端得到服务端即NameNode的代理对象,然后调用其相关方法。3 HDFS文件写(上传)过程
HDFS写入文件过程,实际上也是一个RPC通信的过程,在客户端得到服务端即NameNode的代理对象,然后调用其相关方法。相关文章推荐
- HDFS 副本放置策略的研究和优化
- Spark组件之Spark Streaming学习4--HdfsWordCount 学习
- 使用Spark分析日志,使用关联算法分析结果,保存到hdfs
- 第85讲:基于HDFS的SparkStreaming案例实战和内幕源码解密
- Hadoop 系列 - (1) - 学习随笔 - 起源、构成
- HDFS的读写限流方案
- HDFS命令
- Ubuntu16.04创建HDFS-NFS文件共享
- hive启动出现权限错误 /tmp/hive on HDFS should be writable.
- 第85课:基于HDFS的SparkStreaming案例实战和内幕源码解密
- VMware Hadoop2.5.2分布式环境搭建
- windows 远程连接Hadoop debug MapReduce
- hdfs-site.xml配置参数详情
- 大数据系列分享第二期:《Hadoop生态圈》
- HDFS配置Kerberos认证
- window客户端访问HDFS
- hdfs的基本原理和基本操作总结
- 第一章《数据之路,始于Hadoop》第一节 Hadoop 基础介绍
- HDFS下载数据之源码分析-FileSystem.get(conf)_block02
- HDFS下载数据之源码分析-FileSystem.get(conf)_block01