hadoop streaming的job中出现IOError: [Errno 32] Broken pipe
2017-07-13 11:06
2016 查看
通过查看失败task的counter发现没有input数据
再看task的log找到具体的数据片，发现数据中某一行有8000w个字符，删除改行就好了
初步估计是标准输入输出有长度限制或者hadoop的streaming有限制，暂时未确定
再看task的log找到具体的数据片，发现数据中某一行有8000w个字符，删除改行就好了
初步估计是标准输入输出有长度限制或者hadoop的streaming有限制，暂时未确定
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Python的问题解决: IOError: [Errno 32] Broken pipe
- 问题记录：hadoop集群提交job时出现Exception in thread "main" java.io.IOException: Error opening job jar:
- Python的问题解决: IOError: [Errno 32] Broken pipe
- Hadoop Eclipse远程连接出现：Error：Call to /10.10.10.10:9000 failed on local exception: java.io.EOFException
- ERROR: openstack Error finding address for http://10.16.37.215:9292/v1/images: [Errno 32] Broken pipe
- Python打开文件出现IOError: [Errno 22] invalid mode ('rb') or filename
- pysctp中出现的IOError: [Errno 11] Resource temporarily unavailable以及无限重复接收的问题
- 使用pysftp模块或者paramiko模块时出现IOError: [Errno 13] Permission denied: 或IOError: [Errno 2]
- windows python flask上传文件出现IOError: [Errno 13] Permission denied: 'E:\\git\\test\\static\\uploads'的解决方法
- 【python】 IOError: [Errno 32] Broken pipe
- 使用 yum 出现 [Errno 4] IOError: [Errno ftp error] 的解决办法
- hadoop调度程序时出现“Error opening job jar”错误
- 【Hadoop】在执行job时，hadoop与linux和win7之间的交互出现IO拒绝访问的解决方案
- python open() 打开文件出现 IOError: [Errno 22] invalid mode ('r') or filename:
- 解决hiveserver2报错：java.io.IOException: Job status not available - Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
- error: [Errno 32] Broken pipe
- python使用urllib.urlretrieve时出现“IOError:[Errno 2] No such file or directory”解决办法
- hadoop调度程序时出现“Error opening job jar”错误
- python2.7出现IOError: [Errno 5] Input/output error
- 安装python包时出现IOError: [Errno 13] Permission denied