向HDFS文件append新内容
2014-10-28 17:47
267 查看
在hadoop1.2.1中,网上有很多文章说这个版本不支持文件追加模式,设置了
无效
由于我现在做的项目需要这个功能,而升级hadoop似乎不太可能,然后查看源码发现,其中allowBrokenAppend是用于判断是否支持追加的标识符
看到这里就很明白了吧,dfs.support.append属性已经作废不起作用了,如果想支持追加模式需要以下设置
<property> <name>dfs.support.append</name> <value>true</value> </property>
无效
由于我现在做的项目需要这个功能,而升级hadoop似乎不太可能,然后查看源码发现,其中allowBrokenAppend是用于判断是否支持追加的标识符
this.allowBrokenAppend = conf.getBoolean("dfs.support.broken.append", false); if (conf.getBoolean("dfs.support.append", false)) { LOG.warn("The dfs.support.append option is in your configuration, " + "however append is not supported. This configuration option " + "is no longer required to enable sync"); }
<pre name="code" class="java"> LocatedBlock appendFile(String src, String holder, String clientMachine ) throws IOException { if (!allowBrokenAppend) { throw new IOException("Append is not supported. " + "Please see the dfs.support.append configuration parameter"); } startFileInternal(src, null, holder, clientMachine, false, true, false, (short)maxReplication, (long)0); getEditLog().logSync();
看到这里就很明白了吧,dfs.support.append属性已经作废不起作用了,如果想支持追加模式需要以下设置
<property> <name>dfs.support.broken.append</name> <value>true</value> </property>
相关文章推荐
- [置顶] HDFS文件内容追加(Append)
- HDFS文件内容追加(Append)
- HDFS文件内容追加(Append) hdfs2.x版支持
- HDFS文件内容追加(Append)
- 向HDFS文件append新内容
- HDFS文件内容追加(Append)
- HDFS文件内容追加(Append)
- HDFS文件内容追加(Append)
- 向HDFS文件append新内容
- [置顶] HDFS文件内容追加(Append)
- Hadoop中HDFS文件系统的Append/Hflush/Read设计文档(HDFS-265:Revisit append)
- HDFS源码分析之FSImage文件内容(一)总体格式
- HDFS Append时packet的格式以及DataNode对block/checksum文件的处理
- Hadoop中HDFS文件系统的Append/Hflush/Read设计文档(HDFS-265:Revisit append)
- HDFS只支持文件append操作, 而依赖HDFS的HBase如何完成增删改查功能
- spark streaming 的wordcount程序,从hdfs上读取文件中的内容并计数
- 查看HDFS中LZO压缩文件内容的脚本
- 借鉴sqoop实现hdfs文件内容导入mysql
- HDFS文件追加append
- Hadoop学习全程记录——hadoop读取hdfs文件系统里的内容