您的位置：首页 > 数据库

Spark SQL

2016-04-21 20:32 323 查看

Spark SQL 用户自定义函数

用户自定义函数,UDF,可以自己注册自定义函数，并在SQL语句中调用。Spark SQL不仅有自己的UDF接口，也支持已有的Apache Hive UDF

Spark SQL UDF

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}
val conf=new SparkConf()
val sc=new SparkContext(conf)
val sqlCtx=new SQLContext(sc)
sqlCtx.udf.register("strLen", (s: String) => s.length())
length=sqlCtx.sql("select strlen('id') from ip ")


How can I register custom UDFs

Spark SQL 性能



conf.set("spark.sql.codegen","true")
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航