Spark 2.x永久自定义函数编写
2018-03-06 18:03
183 查看
以前写过一篇spark1.6.x编写永久的自定义函数，今天补上写spark2.x永久自定义函数的步骤：
1、使用scala语言编写自定义函数，spark2.x已经不在支持使用hive的方式加载函数
Scala类参数不同继承不同scala类（UnaryExpression、BinaryExpression、TernaryExpression、Expression）
重写nullSafeEval方法或者eval方法（静态参数）
重写doGenCode方法（动态参数）
2、将自定义函数集成FunctionRegistry类
3、编译打包放入spark-catalyst_2.11-2.2.0.jar
4、将参数传递方法集成functions.scala中
functions.scala中对一个自定义函数处理：
1、使用scala语言编写自定义函数，spark2.x已经不在支持使用hive的方式加载函数
Scala类参数不同继承不同scala类（UnaryExpression、BinaryExpression、TernaryExpression、Expression）
重写nullSafeEval方法或者eval方法（静态参数）
重写doGenCode方法（动态参数）
2、将自定义函数集成FunctionRegistry类
3、编译打包放入spark-catalyst_2.11-2.2.0.jar
4、将参数传递方法集成functions.scala中
functions.scala中对一个自定义函数处理：
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- spark sql 1.6.0 自定义永久函数
- 自定义UDTF和hive自定义函数的永久注册
- [android底层]jni中获取自定义的类函数编写 推荐
- javascript回调函数使用练习以及自定义toggle函数编写
- C++第二周任务一*（1‐2）编写自定义函数将十进制数转换成二进制数输出。
- Hive永久UDF依赖包问题以及几个日期相关的自定义函数
- 在sqlserver2005中部署C#编写的自定义函数
- c程序：编写程序，其中自定义一函数，用来判断一个整数是否为素数，主函数输入一个数，输出是否为素数
- 在 Excel 中编写自定义函数——基础篇
- sqlserver中编写自定义函数中的返回值问题
- /*编写程序，其中自定义一函数，用来判断一个整数是否为素数，主函数输入一个数，输出是否为素数*/
- php自定义编写的函数 代替json函数json_encode
- VBA第7课 编写自定义函数
- R语言-编写自定义函数
- 自定义hive永久函数详细步骤
- 【Spark篇】---SparkSQL中自定义UDF和UDAF，开窗函数的应用
- 利用eclipse编写自定义hive udf函数
- 如何编写和使用自定义的 Shell 函数和函数库
- 如何编写分解因数的自定义函数？