如何在python中写hive脚本
2019-11-08 18:07
1871 查看
这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
1、直接执行.sql脚本
import numpy as np import pandas as pd import lightgbm as lgb from pandas import DataFrame from sklearn.model_selection import train_test_split from io import StringIO import gc import sys import os hive_cmd = "hive -f ./sql/sql.sql" output = os.popen(hive_cmd) data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)
2、Hive语句执行
假如有如下hive sql:
hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'
一般在python中按照如下方式执行该hive sql:
os.system(hive_cmd)
---------------------
hive_cmd1 = "hive -f ./user.sql" output1 = os.popen(hive_cmd1) test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0) hive_cmd2 = "hive -f ./action.sql" output2 = os.popen(hive_cmd2) test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0) hive_cmd3 = "hive -f ./click.sql" output3 = os.popen(hive_cmd3) test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)
为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;
或者,使用如下语句:
hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"' output = os.popen(hive_cmd) data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)
3、tf 显存占用
import tensorflow as tf tf.enable_eager_execution() x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.)) with tf.GradientTape() as tape: y = tf.square(x) y_grad = tape.gradient(y, x) print([y.numpy(), y_grad.numpy()])
以上就是本文的全部内容,希望对大家的学习有所帮助
您可能感兴趣的文章:
相关文章推荐
- 如何用Notepad++运行Python脚本
- 小白如何用Python脚本玩转跳一跳
- hive 使用python脚本
- 需求驱动学习之Python(如何编写Python脚本替换文件中的多行字符?)
- 如何在ubuntu16.04上添加开机自启动的python脚本
- 如何用Notepad++运行Python脚本
- 如何在Windows下开发Python:在cmd下运行Python脚本+如何使用Python Shell(command line模式和GUI模式)+如何使用Python IDE
- 如何用python 写 adb 命令脚本
- hive 导入mysql 脚本 python
- 如何运行含spark的python脚本
- hive使用python脚本导致java.io.IOException: Broken pipe异常退出
- 如何在Windows环境下运行从linux 移植的Python脚本
- Bash下如何执行python脚本文件
- python脚本用sqoop把mysql数据导入hive数据仓库中
- hive中用python脚本做小表的关联
- python 写hive循环脚本
- C代码中如何得到python脚本异常时的traceback信息
- 如何在cmd命令下运行python脚本
- C#如何调用Python执行脚本,并将执行结果显示值显示至C#界面
- 【python+selenium的web自动化测试脚本】如何定位在iframe下的web元素