您的位置:首页 > 编程语言 > Java开发

为什么说Java的序列化不适合Hadoop

2014-06-25 09:38 141 查看
java的序列化是把业务类及其子类一起序列化,这使得序列化和反序列化的数据都比较多,而数据是经过网络传输接收的,这样网络的压力就大,这种模式并不适合海量数据处理,海量数据处理只需要序列化和反序列化我们的业务数据,

hadoop只序列化基本的数据类型,减少io读写次数,缓解网络压力。

为什么序列化对Hadoop很重要?因为Hadoop在集群之间进行通讯或者RPC调用的时候,需要序列化,而且要求序列化要快,且体积要小,占用带宽要小。所以必须理解Hadoop的序列化机制。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop 序列化