1006-Hive的UDF操作
2015-11-25 11:08
204 查看
1、UDF函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容。
2、编写UDF函数的时候需要注意一下几点:
a)自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。
b)需要实现evaluate函数,evaluate函数支持重载。
3、步骤
a)把程序打包放到目标机器上去;
b)进入hive客户端,添加jar包:hive>add jar /run/jar/udf_test.jar;
c)创建临时函数:hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';
d)查询HQL语句:
SELECT add_example(8, 9) FROM scores;
SELECT add_example(scores.math, scores.art) FROM scores;
SELECT add_example(6, 7, 8, 6.8) FROM scores;
e)销毁临时函数:hive> DROP TEMPORARY FUNCTION add_example;
注:UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF
4、若采用maven工程方式创建UDF函数,需要引入下面的包
<dependency>
<groupId> org.apache.hive</groupId >
<artifactId> hive-exec</artifactId >
<version> 0.12.0</ version>
</dependency>
2、编写UDF函数的时候需要注意一下几点:
a)自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。
b)需要实现evaluate函数,evaluate函数支持重载。
3、步骤
a)把程序打包放到目标机器上去;
b)进入hive客户端,添加jar包:hive>add jar /run/jar/udf_test.jar;
c)创建临时函数:hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';
d)查询HQL语句:
SELECT add_example(8, 9) FROM scores;
SELECT add_example(scores.math, scores.art) FROM scores;
SELECT add_example(6, 7, 8, 6.8) FROM scores;
e)销毁临时函数:hive> DROP TEMPORARY FUNCTION add_example;
注:UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF
4、若采用maven工程方式创建UDF函数,需要引入下面的包
<dependency>
<groupId> org.apache.hive</groupId >
<artifactId> hive-exec</artifactId >
<version> 0.12.0</ version>
</dependency>
相关文章推荐
- codeforces 602B (队列)
- java array数组是不是类
- vm中增加硬盘 扩大原来vg
- Python - 操作Excel(中)
- 转载:分享过程
- 从程序员到项目经理(15):原来一切问题都是可以解决的
- JQuery 对 Select option 的操作
- AIDL原理解析
- ExtJS中的全局变量的保存和使用
- 一些内容
- ubunt下samba服务器的配置
- (转)彻底解决_OBJC_CLASS_$_某文件名", referenced from:问题
- Beginning Python Chapter1
- MyBatis学习总结(六)——调用存储过程
- 【转载】Template
- 进入Material Design时代
- DZX2.5更换域名后用户头像不显示!
- CommandLineInterface
- 使用TELNET手工操作 SMTP/POP 收发邮件
- java的Frame和JFrame中的paint方法区别