如何将hive查询结果导出成txt文件
2017-03-11 15:45
1166 查看
原文地址:https://zhidao.baidu.com/question/241683835498891364.html
-----------------------------------------------------------------------------
最近在使用hive时,需要将hive查询的数据导出到本地文件系统,HQL语法如下: INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1 查询结果导出到本地文件后,试图使用excel加载时遇上了麻烦:不知道hive导出文件时使用的分隔符, 使用文本编辑器打开也显示乱码。 最后在官方文档上找了半天才发现,hive使用 ^A 符号作为域的分隔符,原文如下: Data written to the filesystem is serialized as text with columns separated by ^A 在python中可以使用line.split('\x01')来进行切分,也可以使用line.split('\001'),注意其中是单引号 在java中可以使用split("\\u0001")来进行切分 如果确实需要将查询结果导出到本地文件,最好使用hive的命令: [sql] view plaincopy在CODE上查看代码片派生到我的代码片 bin/hive -e "select * from test" >> res.csv 或者是: bin/hive -f sql.q >> res.csv 其中文件sql.q写入你想要执行的查询语句 这问题在使用hive hql streaming时也会遇到,当你使用hql strreaming 将输出直接写入到hdfs目录,然后你在该目录上创建hive 外部表时,hive的输出结果会将streaming 的key和value之间的分隔符修改为 \001,所以,在hql streaming和输出为hive 外部表时,最好将streaming的最后输出的分隔符修改为\001,并且hive外部表的分隔符应该设置为\001,注意:不要使用^A和\x01,如: [html] view plaincopy在CODE上查看代码片派生到我的代码片 create external table site_user_mapping_info_month(uid String,tag string,project_ids string,site_interests string) PARTITIONED BY(year String, month String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LOCATION '/project/site_grouping/site_user_mapping_info_month';
-------------更多的Java,Angular,Android,大数据,J2EE,Python,数据库,Linux,Java架构师,:http://www.cnblogs.com/zengmiaogen/p/7083694.html
相关文章推荐
- INUX 下 MYSQL 如何 将查询结果 导出到TXT 文件
- hive导出查询结果到本地文件
- hive导出查询结果到本地文件
- Hive中将查询结果导出到指定分隔符的文件中
- hive导出查询结果到本地文件
- SQL C# nvarchar类型转换为int类型 多表查询的问题,查询结果到新表,TXT数据读取到控件和数据库,生成在控件中的数据如何存到TXT文件中
- hive导出查询结果到本地文件
- hive导出查询结果到本地文件
- Hive中将查询结果导出到指定分隔符的文件中
- 如何将mongo查询结果导出到文件中
- mysql 导出查询结果集到文件
- DbVisualizer直接导出SQL查询结果数据到指定文件
- MySQL查询结果导出为文件
- Hive0.11查询结果保存到文件并指定列之间的分隔符
- 导出mysql查询结果到文件
- mysql查询结果导出到文件另一方法
- mysql查询结果导出到文件
- [access查询]将access表导出为TXT文件及将TXT文件导入access表的几个SQL语句
- 如何将MySQL数据库sql查询结果保存到excel文件中
- hive导出查询文件到本地文件的2种办法