HTTP/HLS/RTMP超级负载测试工具

原文链接:
​http://blog.csdn.net/win_lin/article/details/11835011​
​

服务器负载测试工具(st-load)：

1. 模拟huge并发：2G内存就可以开300k连接。基于states-threads的协程。

2. 支持HLS解析和测试，下载ts片后等待一个切片长度，模拟客户端。支持HLS点播和直播。

3. 支持HTTP负载测试，所有并发重复下载一个http文件。可将80Gbps带宽测试的72Gbps。

4. 支持RTMP流测试，一个进程支持5k并发。使用nginx-rtmp的协议直接将chunk流解析为messgae。

state-threads用来模拟超级并发，并简化异步socket的逻辑为同步socket，http-parser解析http协议部分。

这两个库设计都很巧妙，所以我开了一个项目：https://github.com/winlinvip/st-load

state-threads之前就有写过文章说明，那时候主要是支持高并发的rtmp服务器，也是并发和异步变为同步的协程很方便。

http-parser用yum就可以search到，它其实设计得也相当巧妙，相当于只是解析buffer的http内容，并不负责网络部分。libcurl/poco等都带了网络处理，所以不合适。

举例说明，http_parser_parse_url这个函数，解析url，设计得非常有意思，不是返回字符串，而是返回位置索引，譬如主机头在什么位置长度多长等等。

[plain] view
plain copy

 





[winlin@dev6 st-hls-load-run]$ ./objs/http-parser-2.1/url_parser_g get http://192.168.2.111:3080/hls/hls.m3u8  

Parsing http://192.168.2.111:3080/hls/hls.m3u8, connect 0  

Parse ok, result :   

field_set: 0xf, port: 3080  

field_data[0]: off: 0 len: 4 part: "http  

field_data[1]: off: 7 len: 13 part: "192.168.2.111  

field_data[2]: off: 21 len: 4 part: "3080  

field_data[3]: off: 25 len: 13 part: "/hls/hls.m3u8  

提供了url_parser这个示例程序。

另外，还有个例子是nginx大牛Igor写的，parsetrace.c：

[cpp] view
plain copy

 





/* Based on src/http/ngx_http_parse.c from NGINX copyright Igor Sysoev  

就是读取文件，然后用http-parser解析。

这个工具写完，支持HTTP文件和HLS两种负载测试。

对比下代码行数：

[plain] view
plain copy

 





[winlin@dev6 src]$ find . -name "*.*pp"|xargs wc -l  

   35 ./upp/upp.upp  

  156 ./main/htl_main_hls_load.cpp  

  156 ./main/htl_main_http_load.cpp  

   45 ./app/htl_app_http_client.hpp  

   53 ./app/htl_app_http_base.cpp  

   32 ./app/htl_app_http_base.hpp  

   44 ./app/htl_app_http_load.cpp  

  172 ./app/htl_app_m3u8_parser.cpp  

  228 ./app/htl_app_http_client.cpp  

  138 ./app/htl_app_hls_load.cpp  

   18 ./app/htl_app_http_load.hpp  

   30 ./app/htl_app_m3u8_parser.hpp  

   28 ./app/htl_app_hls_load.hpp  

   91 ./os/htl_os_st.hpp  

  280 ./os/htl_os_st.cpp  

   67 ./core/htl_core_log.hpp  

   40 ./core/htl_core_error.hpp  

   48 ./core/htl_core_log.cpp  

    2 ./core/htl_core_error.cpp  

  138 ./core/htl_core_http_parser.cpp  

   53 ./core/htl_core_http_parser.hpp  

   20 ./core/htl_stdinc.hpp  

 1874 total  

对比httpload，只能做http文件测试的工具：

[plain] view
plain copy

 





[winlin@dev6 http_load-12mar2006]$ ls|xargs wc -l  

 1857 http_load.c  

  107 port.h  

  328 timers.c  

  106 timers.h  

    8 version.h  

 2406 total  

当ts文件码率为400kbps时，一个进程能开10000连接。http load只能开1024每进程。

效率大约是http-load的10倍，若进行小文件测试，可以到100倍以上。

单进程开启1k连接，不sleep取完一个接着取下一个，能将虚拟机的回环网卡带宽请求到8Gbps，1CPU的虚拟机。

基本上这个工具用来做http测试模拟大并发足够了。