RHive：集成R和Hive

https://github.com/nexr/RHive/wiki/UserGuides

RHive是一个R包，在R环境中集成hive。通过使用RHive可以在R环境中写HQL（HiveQL），将R的对象传入hive中，在hive中进行计算。在rHive中

小数据集在R中执行，大数据集在hive中运行。

越来越多的企业收集了海量细节数据，需要TB或者PB级的数据存储以及从海量数据中发现知识。目前，人们主要关注R统计分析程序，并且越来越熟悉R开发。但是，R对于海量数据处理存在一些弊端。一些人，通过抽样技术来处理海量数据，这样很有可能导致丢失数据信息。Hadoop可以处理这样的海量数据，而数据分析师缺少使用hadoop开发能力。然而，数据分析师一般都很熟悉SQL，进行数据处理。正是基于此种情况，Rhive作为大数据的一种解决方案，应运而生，在R和Hive之间建立桥梁。

RHive架构





API

Rhive API for R

rhive.connect : connect to hive 连接hive

rhive.query : execute hive query in R 在R中执行hive查询

rhive.export : export only R function to cluster Rserve

rhive.exportAll : export all R functions and R objects to cluster Rserve

rhive.close : close hive connection

rhive.list.table : get hive table list

rhive.desc.table : get Hive table information

rhive.load.table : retrieve table data from hive to R

RHive UDF、UDAF for hive

通过R函数处理hdfs

R : R is UDF. For every record, this function from Hive calls an exported R function.

RA : RA is UDAF. This function uses exported R and hive query to aggregate data.

unfold : unfold is UDTF. This function takes return data of R and unfolds them into several columns.

expand : expand is UDTF.

实例

rhive.connect(hive-hostip)

rhive.query("select * from emp")

coefficient <- 1.1

scoring <- function(sal) {

coefficient * sal

}

rhive.export('scoring')

rhive.query("select R('scoring',col_sal,0.0) from emp")

hsum <- function(prev,sal) {

c(prev[1] + sal[1])

}

hsum.partial <- function(agg_sal) {

agg_sal

}

hsum.merge <- function(prev, agg_sal) {

c(prev[1] + agg_sal[1])

}

hsum.terminate <- function(agg_sal) {

agg_sal

}

rhive.exportAll('hsum',rserve-list)

rhive.query(”select RA('hsum',col_sal) from emp group by empno")

emp <- rhive.desc.table(emp)

colnames(emp)