修改HDFS遇到的问题
2014-03-10 16:51
190 查看
改HDFS遇到个问题,需要每个datanode上面的数据块在当前写入的时候能够知道当前其所属的分布式文件的名称,但是查了代码后发现
块所属的文件名只能在namenode包里的BlocksMap才能查到数据块所属文件等一些元数据信息,具体见http://blog.csdn.net/cloudeagle_bupt/article/details/20933045,
为了方便所有的块都能读取到当前写入的文件名,改写了DFSClient,在文件写入的时候就将其名称存入distributedCache, 让大家都能读取。
恩,也是没有办法的办法了。
块所属的文件名只能在namenode包里的BlocksMap才能查到数据块所属文件等一些元数据信息,具体见http://blog.csdn.net/cloudeagle_bupt/article/details/20933045,
为了方便所有的块都能读取到当前写入的文件名,改写了DFSClient,在文件写入的时候就将其名称存入distributedCache, 让大家都能读取。
恩,也是没有办法的办法了。
相关文章推荐
- Windows|Eclipse 运行HDFS程序遇到问题之 AccessControlException【windows中运行hdfs程序后报的异常:访问权限控制异常;方案二,修改MR程序即可】
- 在struts2里修改action name时遇到的问题
- 今天遇到一问题:用eclipse+tomcat开发网页的时候,每次修改jsp页面都需要重启服务器,不重启会报错
- 修改SharePoint 2013中Search Topology时遇到的一些问题以及一些Tips
- git pull 遇到本地有修改,不能merge的问题
- hibernate在分层架构中修改数据(update)时遇到的问题!!
- live555Server读取文件修改为socket接收数据遇到的问题
- 遇到的问题------Asp.net使用GridView的编辑修改功能回发无效
- Info.plist与Prefix.pch修改文件位置遇到的问题及解决方法
- openssl_android编译通过遇到问题总结及修改
- 修改上传功能时遇到的问题
- Info.plist与Prefix.pch修改文件位置遇到的问题及解决方法
- SQL Server里建表保存后要修改遇到无法保存修改的问题
- IE兼容性修改中遇到的问题
- java 修改jar中的menifest.mf文件后重新打包过程中遇到的中文问题解决
- 安装widows mysql 免安装版(zip) 步骤详解 以及遇到问题解决 以及忘记密码的修改方法
- hdfs访问过程中遇到的2个问题
- 关于在Spring过滤器中修改request的参数值遇到的问题(三)
- Ajax异步添加记录和手动修改页码时遇到的问题
- React Native项目遇到的问题 -> 端口号修改