HDFS 断点续传,写文件功能
2015-12-09 11:59
761 查看
实际上这是个 HDFS 的工具类部分代码。 首先
public static Configuration configuration = null;public static FileSystem fileSystem = null;static {try {if (null == configuration) {configuration = new Configuration();}if (null == fileSystem) {fileSystem = FileSystem.get(URI.create(RockyConstants.HDFS_PATH), configuration);}} catch (IOException e) {e.printStackTrace();}}/*** 整文件存入 HDFS** @throws Exception*/public static boolean putHDFS(String filePath, byte[] info) {try {FSDataOutputStream writer = fileSystem.create(new Path(filePath), true);writer.write(info);writer.flush();writer.close();} catch (IOException e) {e.printStackTrace();return false;}return true;}
/*** 断点续传存入* @throws IOException*/public static void continueUpload(String targetPath, byte[] info) throws IOException{Path fsPath = new Path(targetPath);// 第一次if (!fileSystem.exists(fsPath)) {putHDFS(targetPath,info);} else {// 续传FSDataOutputStream writer = fileSystem.append(fsPath);writer.write(info);writer.flush();writer.close();}}来自为知笔记(Wiz)
相关文章推荐
- HDFS(2)
- 从HDFS读入图片并处理
- 整合storm-hdfs过程中源码学习
- 上传本地文件到hdfs
- hdfs的常用命令
- HDFS 上传文件的不平衡,Balancer问题是过慢
- HDFS(1)
- hdfs 机架感知和复制因子的设置
- Avro技术应用_5. 利用 Camus 来将 Avro 数据从 Kafka 拷贝到 HDFS -- 待完善
- 从本地上传到hdfs上出现异常
- HDFS的命令行操作
- hadoop 优化之container
- HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)
- HDFS TFS
- hdfs文件操作操作示例,包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件
- Hadoop之yarn和mapreduce
- hdfs配置文件详解(转载)
- eclipse远程连接hadoop-笔记2
- flume 收集日志到HDFS
- HDFS操作