使用python来操作hive(通过 pyhs2 和 HiveServer2)

HiveServer2为客户端在远程执行hive查询提供了接口，通过Thrift RPC来实现，还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2，实现查询和取回结果的操作。

pyhs2的项目托管在github之上，地址为https://github.com/BradRuderman/pyhs2

可通过以下方式来安装：

easy_install pyhs2

如果安装不成功，可以尝试先安装以下的组件：

yum install cyrus-sasl-plain

yum install cyrus-sasl-devel

以下为一段测试用的代码，pyhs2提供了基本的功能，查询输出的结果为list，做点每天的定时任务用这个来写脚本还是很方便的：

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# hive util with hive server2

"""

@author:knktc

@create:2014-04-08 16:55

"""

__author__ = 'knktc'

__version__ = '0.1'

import pyhs2

class HiveClient:

def __init__(self, db_host, user, password, database, port=10000, authMechanism="PLAIN"):

"""

create connection to hive server2

"""

self.conn = pyhs2.connect(host=db_host,

port=port,

authMechanism=authMechanism,

user=user,

password=password,

database=database,

)

def query(self, sql):

"""

query

"""

with self.conn.cursor() as cursor:

cursor.execute(sql)

return cursor.fetch()

def close(self):

"""

close connection

"""

self.conn.close()

def main():

"""

main process

@rtype:

@return:

@note:

"""

hive_client = HiveClient(db_host='hiveserver2.hadoop', port=10000, user='hdfs', password='mypass',

database='test_log', authMechanism='PLAIN')

result = hive_client.query('select * from t_test limit 10')

print result

hive_client.close()

if __name__ == '__main__':

main()