shell脚本 日志文件批量导入hive
2017-07-17 14:48
1131 查看
#!/bin/bash
for file in /home/robust/*.txt
do
echo "$file" #输出文件路径
echo "${file:0-16:8}" #从倒数16位开始,往后截取8位
hive << EOF #输入重定向
use database;
load data local inpath '$file' overwrite into table table_name [partition (store_day=$(file:0-16:8))];
EOF
done
chmod +x ./shell.sh
输入重定向:
我们经常在shell脚本程序中用<<EOF重定向输入,将我们输入的命令字符串作为一个执行程序的输入,这样,我们就不需要在那个程序环境中手工输入命令,以便自动执行我们需要的功能。
当然这个标志性字符不能用保留字,最常用的还是EOF。
需要注意的是,第一个EOF必须以重定向字符<<开始,第二个EOF必须顶格写,否则会报错。
for file in /home/robust/*.txt
do
echo "$file" #输出文件路径
echo "${file:0-16:8}" #从倒数16位开始,往后截取8位
hive << EOF #输入重定向
use database;
load data local inpath '$file' overwrite into table table_name [partition (store_day=$(file:0-16:8))];
EOF
done
chmod +x ./shell.sh
输入重定向:
我们经常在shell脚本程序中用<<EOF重定向输入,将我们输入的命令字符串作为一个执行程序的输入,这样,我们就不需要在那个程序环境中手工输入命令,以便自动执行我们需要的功能。
当然这个标志性字符不能用保留字,最常用的还是EOF。
需要注意的是,第一个EOF必须以重定向字符<<开始,第二个EOF必须顶格写,否则会报错。
相关文章推荐
- hive日志文件的批量导入
- Linux 用 shell 脚本 批量 导入 csv 文件 到 mysql 数据库
- Oracle脚本批量导入时,输出日志文件
- shell脚本定时将批量日志导入到infobright的方法
- Linux 用 shell 脚本 批量 导入 csv 文件 到 mysql 数据库
- 批量导入sql文件(shell脚本)
- 使用RMAN和控制文件备份删除归档日志的SHELL脚本--RED HAT 5 LINUX 64
- lunix下shell脚本批量获取文件,批量修改文件内容
- Shell脚本遍历目录并批量修改文件编码
- Shell执行将脚本里的变量打印到指定日志文件
- 大量包含Insert语句的脚本文件批量执行导入数据
- shell脚本删除旧日志文件
- shell定时执行hive脚本文件
- 利用简单的shell脚本,生成有规律的导入文件
- shell脚本中使用iconv实现批量文件转码的代码分享
- shell脚本中使用iconv实现批量文件转码
- shell脚本批量生成配置文件
- shell数组及random相关应用和批量修改建立用户,检查文件篡改脚本
- shell脚本 制定文件的批量复制
- Shell脚本定期清空大于1G的日志文件