在压缩话单中过滤指定IP的一个小脚本
2017-05-19 18:04
330 查看
工作需要,需要过滤出含有指定的IP段的话单,编写的脚本名字叫 filter.sh
#!/bin/bash
TARGET_PATH=/data/flume/flume_exec_log/Dst_for_flume.txt 此处直接写绝对路径的指定输出文件
PATTERN1="133.23.10[123456]." 此处为过滤的字段,因为话单中肯定是包含IP的,所以最后边的匹配0~255没有写
PATTERN2="133.23.8[0-9]."
PATTERN3="133.45.9[01]."
PATTERN4="19.12.15.18[34]."
PATTERN4="19.124.0."
if [ ! $# -eq 1 ];then
echo "$0 <file-path>"
exit 1
fi
grep -e $PATTERN1 -e $PATTERN2 -e $PATTERN3 -e $PATTERN4 $1 >> ${TARGET_PATH}
---------------
以上是第一版本
因为现场是生成的压缩话单,需要在当天生成的压缩话单中提取出需要的话单文件,生成指定的文件。
-----最终的版本为:
#!/bin/bash
TARGET_PATH=/data/flume/flume_exec_log/Dst_for_flume.txt
PATTERN1="132.35.10[123456]."
PATTERN2="132.35.8[0-9]."
PATTERN3="132.35.9[01]."
PATTERN4="10.1.1.18[34]."
PATTERN4="10.124.0."
zcat 2017051915*.gz | zgrep -e $PATTERN1 -e $PATTERN2 -e $PATTERN3 -e $PATTERN4 $1 >> ${TARGET_PATH}
-------
以上生成的文件,直接在生成压缩话单的路径下运行,之后打开另一个窗口,tail -f /data/flume/flume_exec_log/Dst_for_flume.txt 观察提取进度,,,,最后得到所需话单.
#!/bin/bash
TARGET_PATH=/data/flume/flume_exec_log/Dst_for_flume.txt 此处直接写绝对路径的指定输出文件
PATTERN1="133.23.10[123456]." 此处为过滤的字段,因为话单中肯定是包含IP的,所以最后边的匹配0~255没有写
PATTERN2="133.23.8[0-9]."
PATTERN3="133.45.9[01]."
PATTERN4="19.12.15.18[34]."
PATTERN4="19.124.0."
if [ ! $# -eq 1 ];then
echo "$0 <file-path>"
exit 1
fi
grep -e $PATTERN1 -e $PATTERN2 -e $PATTERN3 -e $PATTERN4 $1 >> ${TARGET_PATH}
---------------
以上是第一版本
因为现场是生成的压缩话单,需要在当天生成的压缩话单中提取出需要的话单文件,生成指定的文件。
-----最终的版本为:
#!/bin/bash
TARGET_PATH=/data/flume/flume_exec_log/Dst_for_flume.txt
PATTERN1="132.35.10[123456]."
PATTERN2="132.35.8[0-9]."
PATTERN3="132.35.9[01]."
PATTERN4="10.1.1.18[34]."
PATTERN4="10.124.0."
zcat 2017051915*.gz | zgrep -e $PATTERN1 -e $PATTERN2 -e $PATTERN3 -e $PATTERN4 $1 >> ${TARGET_PATH}
-------
以上生成的文件,直接在生成压缩话单的路径下运行,之后打开另一个窗口,tail -f /data/flume/flume_exec_log/Dst_for_flume.txt 观察提取进度,,,,最后得到所需话单.
相关文章推荐
- 为ZooKeeper增加一个小功能:指定IP进行受限客户端过滤
- 为ZooKeeper增加一个小功能:指定IP进行受限客户端过滤
- 为ZooKeeper增加一个小功能:指定IP进行受限客户端过滤
- 为ZooKeeper增加一个小功能:指定IP进行受限客户端过滤
- 为ZooKeeper增加一个小功能:指定IP进行受限客户端过滤
- 随手做的一个用PHP压缩javascript,css的小脚本
- Tomcat服务器过滤指定IP或主机属性
- shell脚本快速添加一个网段的IP
- 一个shell脚本解多个压缩文件(改别人的代码)
- Python 实现在对一个目录下所有文件,指定某一行之后添加内容(批处理脚本)
- IE6不能用gzip压缩脚本,一个流毒甚广的谣言
- 一个批量更改指定文件后缀的脚本
- C#实现判断一个IP是否是指定范围内的IP
- 编写一个判断IP地址合法性的bash脚本
- 帮朋友做了一个IP发生变化后自动email通知的脚本。
- 如果一个域名对应多个IP,取得指定IP下的网页内容
- 一个监控指定进程的脚本
- 简单的一个可以让终端不断dhcp到不同IP的脚本
- 过滤了asa,cer,cdx,php,aspx等脚本类型的上传情况下添加一个ashx的上传类型
- 用vbs针对一个 IP 地址范围运行脚本