hive导出查询文件到本地文件的2种办法
2015-12-22 09:50
281 查看
hive导出查询文件到本地文件的2种办法
通过HQL语句
可以将hive 中表的数据生成到指定的目录。
有时候 我们可以利用hive来生成统计的中间文件(比源文件小的多的)
方法有如下2种:
1.INSERT OVERWRITE LOCAL DIRECTORY
将结果输出到指定的目录:
生成的文件数 和redurcer的数目的一样的
在hive下面执行
INSERT OVERWRITE LOCAL DIRECTORY '/hive_dat/package_name'
select package_name,count(1) from app_list group by package_name;
2.直接查询生成结果文件:
在linux下面执行:(也支持后台运行 如果执行时间比较长的话)
hive -S -e"select package_name,count(1) from app_list group by package_name;"> grp_app_id.dat
这个只生成一个文件 并且输出的文件里面的列 是以空格隔开的。
通过HQL语句
可以将hive 中表的数据生成到指定的目录。
有时候 我们可以利用hive来生成统计的中间文件(比源文件小的多的)
方法有如下2种:
1.INSERT OVERWRITE LOCAL DIRECTORY
将结果输出到指定的目录:
生成的文件数 和redurcer的数目的一样的
在hive下面执行
INSERT OVERWRITE LOCAL DIRECTORY '/hive_dat/package_name'
select package_name,count(1) from app_list group by package_name;
2.直接查询生成结果文件:
在linux下面执行:(也支持后台运行 如果执行时间比较长的话)
hive -S -e"select package_name,count(1) from app_list group by package_name;"> grp_app_id.dat
这个只生成一个文件 并且输出的文件里面的列 是以空格隔开的。
相关文章推荐
- 微信开放平台开发(2) 微信登录
- 基于.NET平台的分布式应用程序的研究
- C++ 的全局构造与析构函数
- Java [Leetcode 258]Add Digits
- Add Digits 38 3 + 8 = 11 1 + 1 = 2
- centos6 static ip setting
- EXTJS入门教程及其框架搭建
- App Tune-up Kit Pofiler工具使用介绍
- Lessson 31 A lovable eccentric
- android中getLocationInWindow 和 getLocationOnScreen的区别
- 【c/c++】printf函数
- TortoiseSVN 冲突解决详细步骤 (图)
- winform 子报表
- 拥抱高效、拥抱 Bugtags 之来自用户的声音(三)
- PHP输入流php://input实例讲解
- 将MongoDB导出成csv文件
- ubuntu下python+flask+mysql完整开发环境配置
- Using AppCompat 'layout_behavior' with '@string/appbar_scrolling_view_behavior' throws exception
- 浅谈两个多月使用Laravel的自己的感受
- coding.net--多人合作开发git的使用