从CSV文件导入Hive出现中文乱码问题解决
2017-11-02 14:03
585 查看
关于HIVE中文乱码问题的解决办法,网上有很多帖子,然而很多都是基于LINUX终端显示字符的修改,其实上对于一些条件下的HIVE中文乱码问题是无法解决的,如从CSV文件导入到HIVE中出现的中文乱码问题。
大家都知道,HIVE原生的字符编码是采用UTF-8方式的,这是支持中文的。然而在从ORACLE导出CSV文件,注入到HIVE表中的时候,就发现输入时出现中文乱码。按照HIVE中文乱码的解决思路(基于系统字符编码的修改方式)总是没有成功。
后来考虑到HIVE将数据是存放在HDFS上的,并以序列化的方式存在,因此应该考虑HDFS中文乱码的问题,这一查,资料还不少。也看到了核心的问题所在: hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式,但是对于中文的输出window系统默认的是GBK,有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-8文件时,输出的结果为乱码,只能由UE或者记事本打开才能正常显示。因此将hadoop默认输出编码更改为GBK成为非常常见的需求。
考虑到这个问题,于是想着在HIVE中序列化的时候需要指定一下字符编码,终于找到相关的解决思路,这是HIVE issue解决办法中找到的。https://issues.apache.org/jira/browse/HIVE-7142。
依照这个文档的说明,对指定的表进行设置,即设置序列化编码为GBK,以WINDOW拷贝导入的数据编码相匹配。
转自:http://blog.csdn.net/sparkexpert/article/details/50277259
大家都知道,HIVE原生的字符编码是采用UTF-8方式的,这是支持中文的。然而在从ORACLE导出CSV文件,注入到HIVE表中的时候,就发现输入时出现中文乱码。按照HIVE中文乱码的解决思路(基于系统字符编码的修改方式)总是没有成功。
后来考虑到HIVE将数据是存放在HDFS上的,并以序列化的方式存在,因此应该考虑HDFS中文乱码的问题,这一查,资料还不少。也看到了核心的问题所在: hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式,但是对于中文的输出window系统默认的是GBK,有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-8文件时,输出的结果为乱码,只能由UE或者记事本打开才能正常显示。因此将hadoop默认输出编码更改为GBK成为非常常见的需求。
考虑到这个问题,于是想着在HIVE中序列化的时候需要指定一下字符编码,终于找到相关的解决思路,这是HIVE issue解决办法中找到的。https://issues.apache.org/jira/browse/HIVE-7142。
依照这个文档的说明,对指定的表进行设置,即设置序列化编码为GBK,以WINDOW拷贝导入的数据编码相匹配。
ALTER TABLE ** SET SERDEPROPERTIES ('serialization.encoding'='GBK');
通过这样设置,果然实现一直困扰多时的HIVE中文乱码问题。
转自:http://blog.csdn.net/sparkexpert/article/details/50277259
相关文章推荐
- 从CSV文件导入Hive出现中文乱码问题解决
- mysql数据库使用SQLyog 导入中文 csv 文件出现乱码 解决
- php读取淘宝数据包csv文件 unicode ucs-2 utf-16 中文乱码问题解决
- 解决在windows目录下的文件到ubuntu系统下出现的中文乱码问题
- 完美解决eclipse中导入工程后中文注释出现乱码的问题
- Eclipse导入java文件出现中文乱码的解决办法
- 解决雷鸟导入OE导出的.csv文件乱码的问题
- 解决使用nvelocity时候template文件里面包含中文输出结果时候出现乱码的问题
- Mysql 导入导出csv 中文乱码问题的解决方法
- php操作csv文件导入mysql时中文乱码的解决办法
- Mysql 导入导出csv 中文乱码问题的解决方法
- Eclipse导入java文件出现中文乱码的解决办法
- PHP中完美解决fckeditor上传中文文件与新建中文目录出现乱码的问题
- mysql5导入sql文件,中文出现乱码的解决办法
- Mysql 导入导出csv 中文乱码问题的解决方法
- 在Mac系统下Excel转csv文件中文乱码问题解决
- java web导出csv文件中文乱码问题解决。
- VC6中cpp文件源码中出现中文乱码问题的解决办法
- PHP自带函数fgetcsv读取csv文件中文乱码问题解决办法
- 文件、导出-在Mac系统下Excel转csv文件中文乱码问题解决-by小雨