MapReduce程序处理hdfs中数据乱码问题
2014-07-28 16:06
281 查看
最近在写MapReduce程序,实现Writable接口时发现总是读不进中文字,读出来全是乱码,找了一晚上发现问题,原来hadoop只支持UTF-8的字符集,因此,在存储Text变量时要先把string变量转换成UTF-8的字符集,再给Text赋值。问题解决。
hadoop只支持UTF-8字符集,所以需要将字符串String转化成utf-8再给Text赋值。另外你的上传到hdfs的文档也要是utf-8的否则即使使用此解决方法也会出错。
String str = new String("字符串".getBytes(),'UTF-8');
new Text().set(str)
hadoop只支持UTF-8字符集,所以需要将字符串String转化成utf-8再给Text赋值。另外你的上传到hdfs的文档也要是utf-8的否则即使使用此解决方法也会出错。
String str = new String("字符串".getBytes(),'UTF-8');
new Text().set(str)
相关文章推荐
- Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据(转)
- Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
- Windows下运行MapReduce程序处理集群中hdfs数据所踩到的坑
- Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
- Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
- 解决Pro*C程序数据显示中出现在乱码问题。
- Linux下一系列基于Java的客户端程序的中文乱码问题的处理方法
- linux下Java程序插入DB数据中文乱码问题
- 使用Hadoop的MapReduce与HDFS处理数据
- jmeter-察看结果树-响应数据,中文显示乱码问题处理
- Linux下用QtCreater写QT程序处理中文的乱码问题解决方案
- java程序向mysql数据表插入数据时中文乱码问题
- 利用暴力反编译的程序处理ArcXML数据遇到的问题小结(纯粹研究目的)
- 使用Hadoop的MapReduce与HDFS处理数据
- 利用mapreduce将数据从hdfs导入到hbase遇到的问题
- 在utf8下php处理url传送数据的的乱码问题
- Javascript与ASP.NET(一般处理程序)关于URL(get方式)传递中文乱码问题的解决方案
- jabc连接数据库,处理添加数据时的乱码问题
- 今天遇到一个问题:在程序中加入的定时触发器,当时出现这样一个问题,触发器定时2秒,程序从后台查询数据经过复杂处理后时间超过了2秒,我查阅好些网络上说有可能触发器等待程序执行完毕后,在触发下一次,也有说
- jmeter-察看结果树-响应数据,中文显示乱码问题处理