在hadoop中如何进入本地调试、及如何设置split的大小
2015-12-16 15:36
274 查看
在mapreduce中,如果想进入debug模式进行调试,则需要在main函数中去掉下面一行代码:
Configuration conf = new Configuration();
conf.set("mapred.job.tracker", "master:9001");//这行不能要,否则进入集群模式,不能单步调试,不设置jobtracker默认进入本地模式
在hadoop中设置每个split大小
Job job = new Job(conf, "combine smallfiles map");
job.getConfiguration().setLong("mapreduce.input.fileinputformat.split.maxsize", (long)(113*1024*1024));//split的大小设置为113M
Configuration conf = new Configuration();
conf.set("mapred.job.tracker", "master:9001");//这行不能要,否则进入集群模式,不能单步调试,不设置jobtracker默认进入本地模式
在hadoop中设置每个split大小
Job job = new Job(conf, "combine smallfiles map");
job.getConfiguration().setLong("mapreduce.input.fileinputformat.split.maxsize", (long)(113*1024*1024));//split的大小设置为113M
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例
- java结合HADOOP集群文件上传下载
- 用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试
- Hadoop安装感悟
- Scala代码实现列出Hadoop 文件夹下面的所有文件