利用shell脚本对大文件进行分割
2010-04-08 16:02
711 查看
有系统运维的过程中,日志文件往往非常大,这样就要求对日志文件进行分割,在此特用shell脚本对文件进行分割
方法一:
#!/bin/bash
linenum=`wc -l httperr8007.log| awk '{print $1}'`
n1=1
file=1
while [ $n1 -lt $linenum ]
do
n2=`expr $n1 + 999`
sed -n "${n1}, ${n2}p" httperr8007.log > file_$file.log
n1=`expr $n2 + 1`
file=`expr $file + 1`
done
其中httperr8007.log为你想分割的大文件,file_$file.log 为分割后的文件,最后为file_1.log,file_2.log,file_3.log……,分割完后的每个文件只有1000行(参数可以自己设置)
方法二:
split 参数:
-b :后面可接欲分割成的档案大小,可加单位,例如 b, k, m 等;
-l :以行数来进行分割;
#按每个文件1000行来分割除
split -l 1000 httperr8007.log httperr
httpaa,httpab,httpac ........
#按照每个文件100K来分割
split -b 100k httperr8007.log http
httpaa,httpab,httpac ........
方法一:
#!/bin/bash
linenum=`wc -l httperr8007.log| awk '{print $1}'`
n1=1
file=1
while [ $n1 -lt $linenum ]
do
n2=`expr $n1 + 999`
sed -n "${n1}, ${n2}p" httperr8007.log > file_$file.log
n1=`expr $n2 + 1`
file=`expr $file + 1`
done
其中httperr8007.log为你想分割的大文件,file_$file.log 为分割后的文件,最后为file_1.log,file_2.log,file_3.log……,分割完后的每个文件只有1000行(参数可以自己设置)
方法二:
split 参数:
-b :后面可接欲分割成的档案大小,可加单位,例如 b, k, m 等;
-l :以行数来进行分割;
#按每个文件1000行来分割除
split -l 1000 httperr8007.log httperr
httpaa,httpab,httpac ........
#按照每个文件100K来分割
split -b 100k httperr8007.log http
httpaa,httpab,httpac ........
相关文章推荐
- 利用shell脚本对大文件进行分割
- 利用shell脚本对大文件进行分割 (
- 利用Shell脚本进行文件内容去重
- 利用Shell脚本进行文件内容去重
- 利用Shell脚本清除UT编译的临时文件
- 使用shell脚本进行服务器系统监控——文件系统监控(5)
- HID高级攻击姿势:利用PowerShell脚本进行文件窃取
- Linux 下用shell脚本对SVN 修改的文件进行备份
- Shell脚本对文件中的行、单词、字符进行迭代输出示例
- 小实验---采用iconv命令对目录文件进行递归式字符编码转换的shell脚本
- 利用shell脚本统计文件中出现次数最多的IP
- 在Windows、Linux下,分别利用BAT批处理文件和Shell脚本,生成类似“20150605_111327.txt”命名的文件
- 利用Oracle DBMS_SCHEDULER调用shell脚本文件
- shell脚本编程:将文件中指定行的内容进行替换
- Linux shell编程 5 ---- 利用shell脚本遍历某个目录下的所有文件
- shell脚本进行sftp文件批量上传与下载
- 利用RAR对文件进行分割
- 利用SHELL脚本实现文件完整性检测程序(1.2版更新)
- 利用shell脚本遍历文件夹内所有的文件并作整理统计的方法
- 利用shell脚本监控目录内文件改动