linux 下使用HTTPRY抓取HTTP流量包
2015-02-06 17:00
886 查看
数据包嗅探工具如tcpdump是普遍用于实时数据包转储,需要设定一些过滤规则,只捕获HTTP流量,即便如此,它的输出内容很难理解,需要一定的协议基础知识。实时的Web服务器日志分析工具如ngxtop提供了可读的实时网络流量的痕迹,但仅适用于具有完全访问过的Web服务器的日志。
有没有一款功能强大且又只针对HTTP流量的工具呢?那就是httpry,HTTP数据包嗅探工具。捕获HTTP数据包,并显示可读格式的HTTP协议层面的内容。
Fedora、centos、RHEL系统需要安装EPEL源
也可以源码编译
httpry监听在指定的网卡下,实时捕获并显示HTTP请求与响应的包
在大多数情况下,输出滚动非常快的,需要保存捕获的HTTP数据包进行离线分析。可以使用-b或-o选项。“-b”选项将原始的HTTP数据包保存到一个二进制文件,然后可以用httpry进行重播。 “-o”选项保存可读的输出到文本文件。
保存到二进制文件中:
重放:
保存到文本文件:
如果你下载httpry源码,在源码目录下,有一个perl脚本来帮助我们分析httpry输出。该脚本在httpry/scripts/plugins目录下。 如果你想编写一个httpry输出的定制解析器,这些脚本是个很好的例子。功能有:
hostname : 显示一些列唯一主机名
find_proxies:检测web代理
search_terms:查找并计算在搜索服务中输入搜索词
content_analysis:查找包含特定关键字的URI
xml_output:以xml格式输出
log_summary:生成日志摘要
db_dump:将日志转存到mysql数据库中
在使用这些脚本前,先使用’-o’选项运行一段时间。一旦得到输出,运行这些脚本分析:
parse_log.pl执行完后,会在httpry/scripts目录下生成一些分析结果文件(*.txt/xml)。例如,log_summary.txt看起来像下面这样:
有没有一款功能强大且又只针对HTTP流量的工具呢?那就是httpry,HTTP数据包嗅探工具。捕获HTTP数据包,并显示可读格式的HTTP协议层面的内容。
安装httpry
在基于debian系统如Ubuntu,httpry没有包含在基础仓库中。$ sudo apt-get install gcc make git libpcap0.8-dev $ git clone https://github.com/jbittel/httpry.git $ cd httpry $ make $ sudo make install
Fedora、centos、RHEL系统需要安装EPEL源
$ sudo yum install httpry
也可以源码编译
$ sudo yum install gcc make git libpcap-devel $ git clone https://github.com/jbittel/httpry.git $ cd httpry $ make $ sudo make install
httpry基本用法
$ sudo httpry -i <network-interface>
httpry监听在指定的网卡下,实时捕获并显示HTTP请求与响应的包
在大多数情况下,输出滚动非常快的,需要保存捕获的HTTP数据包进行离线分析。可以使用-b或-o选项。“-b”选项将原始的HTTP数据包保存到一个二进制文件,然后可以用httpry进行重播。 “-o”选项保存可读的输出到文本文件。
保存到二进制文件中:
$ sudo httpry -i eth0 -b output.dump
重放:
$ httpry -r output.dump
保存到文本文件:
$ sudo httpry -i eth0 -o output.txt
httpry高级用法
如果你要捕获特定的HTTP方法,如GET、POST、PUT、HEAD、CONNECT等等,可以使用‘-m’选项:$ sudo httpry -i eth0 -m get,head
如果你下载httpry源码,在源码目录下,有一个perl脚本来帮助我们分析httpry输出。该脚本在httpry/scripts/plugins目录下。 如果你想编写一个httpry输出的定制解析器,这些脚本是个很好的例子。功能有:
hostname : 显示一些列唯一主机名
find_proxies:检测web代理
search_terms:查找并计算在搜索服务中输入搜索词
content_analysis:查找包含特定关键字的URI
xml_output:以xml格式输出
log_summary:生成日志摘要
db_dump:将日志转存到mysql数据库中
在使用这些脚本前,先使用’-o’选项运行一段时间。一旦得到输出,运行这些脚本分析:
$ cd httpry/scripts $ perl parse_log.pl -d ./plugins <httpry-output-file>
parse_log.pl执行完后,会在httpry/scripts目录下生成一些分析结果文件(*.txt/xml)。例如,log_summary.txt看起来像下面这样:
相关文章推荐
- linux 下如何抓取HTTP流量包(httpry)
- linux 下如何抓取HTTP流量包(httpry)
- Linux 命令行下嗅探 HTTP 流量的工具:httpry
- Linux下使用httpry来嗅探HTTP流量教程
- 如何在Linux下使用命令行嗅探HTTP流量
- Linux 命令行下嗅探 HTTP 流量的工具:httpry
- Linux命令行下抓取HTTP流量的工具--httpry
- 使用tcpdump抓取HTTP包
- 用 SUSE Studio 客制化 openSUSE Linux 11.2,安装并使用 iptraf 来侦测网路异常流量
- UNIX/LINUX中使用MRTG自动画虚拟主机流量图
- 步步为营:Asp.Net使用HttpWebRequest通知,抓取,采集
- 使用linux下的TC工具进行流量管理
- Apt 使用参考 转自:http://linuxtoy.org/archives/apt_reference.html
- 在ARM Linux上使用OpenGL(http://xianzilu.spaces.live.com/blog/cns!4201FDC93932DDAF!274.entry)
- Linux下“网站流量访问统计”软件“awstats”的配置安装使用过程
- PostgreSQL安装和简单使用(转载:http://www.linuxsir.org/main/node/275)
- winform 使用httpwebrequest httpwebresponse 抓取数据
- 用 SUSE Studio 客制化 openSUSE Linux 11.2,安装并使用 ntop 及 Wireshark 来侦测网路异常流量
- 使用windows的ssh的public key来连接 linux 转http://wuhuizhong.javaeye.com/blog/780580
- Linux下使用Yum管理本地软件包(repository) (转http://www.aiezu.com/Article/Linux_Yum_Packets_admin.aspx)