批量数据文件用sqlldr导数据到oracle中
2017-03-16 10:26
274 查看
使用sqlload导文本数据到oracle中想必很多人多使用过,但是倘若有几百或者几千个数据文本,或者实时有文本数据产生。这种场景如何批量导入oracle呢,下面就来讲解下我处理的方式。
1.shell脚本LoadData.sh如下
2.sqlldr控制文本dayflow.log.ctl
1.shell脚本LoadData.sh如下
#!/bin/bash data_dir=/home/bea/datasource/warn-log/dayflow # 文本数据目录 data_dir_bak=/home/bea/datasource/warn-log/dayflow_bak shell_dir=/home/bea/script while [ 1 ] do cd $data_dir if [ `pwd` == $data_dir ] then filelist=`ls -rt | grep dayflow.log_.` #数据文本文件名匹配 fi #echo $filelist cd $shell_dir if [ `pwd` == $shell_dir ] then for file in $filelist do date=`date "+%Y%m%d %H:%M:%S"` export LoadFileName=$data_dir"/"$file #这个地方很重要,要加载变量到环境中 echo "Time is $date ,开始导$LoadFileName数据" sqlldr user_1/123456@213_db control=dayflow.log.ctl BAD=dayflow.log.bad echo "Time is $date ,$LoadFileName数据导入完毕" echo "开始备份文件$file" mv $LoadFileName $data_dir_bak echo "$file备份完毕" done fi done这个地方最应该要注意的是
export LoadFileName=$data_dir"/"$file这里将LoadFileName (导入oracle 的文本,绝对路径)这个变量 export到linux环境中,这样sqlload的控制文件就可以读到这个变量并进行导入
2.sqlldr控制文本dayflow.log.ctl
load data CHARACTERSET AL32UTF8 infile '$LoadFileName' APPEND into table user_1.BIL_FLUX_HIGH_CUR fields terminated by '|' trailing nullcols (ACCS_NBR "TRIM(:ACCS_NBR)", DATE_ID "TRIM(:DATE_ID)", TOTAL_FLUX "TRIM(:TOTAL_FLUX)", sys_date "sysdate")请注意 infile '$LoadFileName',这里就是shell中 刚才export的变量,通过这种方式就可以以变量的形式传入文件名,那么批量导入也就是一个循环的操作。
相关文章推荐
- oracle下的sqlldr命令使用方法(sqlldr工具的使用(批量将文本文件数据加载到数据表))
- 在oracle中 生成大规模数据 500万条 (使用导入数据方式 sqlldr 导入命令 *.ctl文件)
- 批量迁移Oracle数据文件,日志文件及控制文件
- 使用存储过程将Oracle数据批量导出为多个csv文件
- oracle下的sqlldr命令使用方法(sqlldr工具的使用(批量导入数据))
- 使用存储过程将Oracle数据批量导出为多个csv文件
- oracle12c:通过oracle客户端工具配置tns,并使用sqlldr进行批量导入数据
- 批量迁移Oracle数据文件,日志文件及控制文件
- 使用存储过程将Oracle数据批量导出为多个csv文件
- oracle中,使用sqlldr将文件中的数据导入到数据库
- Bat文件往oracle中批量插入数据
- mysql与Oracle垃圾用户方案临时给的excel文件数据批量数据导入库操作步骤整理
- ORACLE 快速批量导入文本数据到数据库(sqlldr工具)方法与分析
- 在oracle中,使用sqlldr将文件中的数据导入到数据库
- oracle下的sqlldr命令使用方法(sqlldr工具的使用(批量导入数据))
- ORACLE 数据文件重命名(批量重命名,单独重命名)
- Oracle批量导出表数据到CSV文件
- 在oracle中,使用sqlldr将文件中的数据导入到数据库
- 批量迁移Oracle数据文件,日志文件及控制文件
- 批量生成sqlldr文件,高速卸载数据