您的位置:首页 > 移动开发 > Android开发

单独编译使用WebRTC的音频处理模块 - android

2014-07-18 10:31 666 查看
附言

WebRTC是时下比较热门的新技术,由于bill接触时间尚短,对该项目的理解和认知定存在不足甚或偏差,文中有描述不当之处还望各位悉心指出,感激不尽。

前言

最近一直在捣腾如何在android和iOS上使用Google的WebRTC——一个无疑大力推动了互联网即时通信以及VoIP发展的开源项目。

虽然WebRTC主要目标是为互联网提供高质量的富媒体即时通信,但其源码为C/C++所写,且其开发版中也包含对android 和 iOS 等移动设备的支持,因此对于如今飞速发展的移动互联网,WebRTC也能推波助澜大显神通。

WebRTC提供一套音频处理引擎VOE(本文不涉及视频处理引擎VIE),但VOE在 android 和 iOS 上的整体编译一直是一个比较繁琐且恼火的问题,于是单独提取了VOE中的NS(Noise
Suppression 噪声抑制)、VAD(Voice
Activity Detection 静音检测)、AECM(Acoustic
Echo Canceller for Mobile 声学回声消除)以及 AGC(Auto
Gain Control 自动增益控制)等模块进行编译并捣鼓其使用方法。

经过自己两月有余的捣腾和测试,终于在 android 和 iOS 上成功编译出各模块并在项目中使用了NS/VAD/AECM三大模块,效果比较不错。

回过头来看看,这几大模块的编译其实非常简单,不过两月前的自己也着实为这个花了一番力气。

正文

由于几大模块的编译方式相同,故本文仅以 NS 模块为例,其余模块请读者自行摸索和实验。

Step 1 - 下载 google
WebRTC 源码

WebRTC目前的开发版主线版本已经到了 r4152
- 3.32,但这几大模块并未有大的修改,故本文依旧按bill当时的版本 3.31 进行讲解,请自行使用SVN同步以下目录(至于同步的方法,请自行google):

http://webrtc.googlecode.com/svn/branches/3.31/

Step
2 - 提取WebRTC - NS模块代码

同步源码后,进入目录 \webrtc\modules\audio_processing\ns ,将NS模块的源码拷贝出来,下面是单独编译NS时的参考源码列表(部分头文件在WebRTC项目其他目录下,请自行搜索提取):

defines.h

signal_procession_library.h

spl_inl.h

typdefs.h

windows_private.h

fft4g.h / fft4g.c

noise_suppression.h / noise_suppression/c

ns_core.h / ns_core.c

除了上述WebRTC源码外,如果要在android的Java代码中使用,还需自行编写JNI包装文件:

ns_jni_wrapper.c(此为自定义的 jni 包装文件,详情请见 此文

ADDED(billhoo
- 2013-6-14) 鉴于有朋友询问JNI
Wrapper的编写,下面提供NS模块create以及initialize函数(这两个函数足以说明问题)的wrapper源码及注释,希望对大家有所帮助。更详细的编写步骤请参考
Oracle官方文档 或 此文此文

WebRtcNs_Create 包装函数及注释

WebRtcNs_Initiate 包装函数及注释

[END OF ADDED]

Step
3 - 编译WebRTC - NS模块

此步请参照 bill之前的文章将刚才提取的NS代码添加进eclipse工程进行编译即可。以下为NS模块的Android.mk文件:

编译完成后,将项目中的 webrtc_ns.so 动态库拷贝出来以备后续使用。

Step 4 -
加载编译好的NS模块动态库

接下来只需要按照 此文 的描述在 android 的JAVA代码中使用刚才编译好的 webrtc_ns.so 动态库便大功告成。

Step
5 - 几大模块的使用及注意事项

前四步已经完成了几大音频处理模块在android上的单独编译过程,并分别生成了 webrtc_ns.so、webrtc_vad.so、webrtc_aecm.so 以及 webrtc_agc.so 四个动态库,下面bill简要介绍对NS、VAD以及AECM三个库的函数使用方法及注意事项:

5.1 - NS库函数的使用及注意事项

这个很简单,参照 noise_suppression.h 头文件中对各API的描述即可,首先使用 WebRtcNs_Create 创建NS实体,然后 WebRtcNs_Init 初始化该实体,WebRtcNs_set_policy 设置噪声抑制的级别(bill使用的是最高级别
2,效果比较理想),设置完成后便可调用 WebRtcNs_Process 循环对10ms(8000Hz、16000Hz)音频帧进行NS处理,注意最后别忘了调用 WebRtcNs_Free 将NS实体销毁。

5.2 - VAD库函数的使用及注意事项

VAD的使用和NS区别不大,唯一需要注意的是VAD仅仅只是检测,返回结果1表示VAD检测此帧为活动帧,0表示此帧为静音帧,至于判断为静音后该进行何种处理,就和你自己的项目相关了。

5.3 - AECM库函数的使用及注意事项

AECM实体的创建、初始化和销毁工作与上述相同,之后需要在远端和近端分别调用 WebRtcAecm_BufferFarend以及 WebRtcAecm_Process,对于AECM的使用,需要注意的重点在于Process函数的参数msInSndCardBuf,该参数在audio_procession.h头文件中以名为delay的变量呈现,该延迟的计算确为一难点(对于单独使用AECM模块来说),不过只要严格按照delay的描述进行操作即可。

附:

其他几大模块单独编译时需要的源文件列表(所有依赖头文件略,请自行根据报错添加):

WebRTC - VAD 模块源文件列表

注意:VAD的编译需要宏 WEBRTC_POSIX 的支持,而该宏是否有实现,由 WEBRTC_ANDROID 等宏是否被定义决定,若你在编译时提示 once 函数未定义等错误,
请自行添加对 WEBRTC_ANDROID宏的定义。

webrtc_vad.c

vad_core.c

vad_filterbank.c

vad_gmm.c

vad_sp.c

real_fft.c

division_operations.c

complex_bit_reverse.c

cross_correlation.c

complex_fft.c

downsample_fast.c

vector_scaling_operations.c

get_scaling_square.c

energy.c

min_max_operations.c

spl_init.c

WebRTC
- AECM 模块源文件列表

randomization_functions.c

spl_sqrt_floor.c

division_operations.c

min_max_operations.c

ring_buffer.c

delay_estimator.c

delay_estimator_wrapper.c

complex_bit_reverse.c

complex_fft.c

aecm_core.c

echo_control_mobile.c

WebRTC
- AGC 模块源文件列表

spl_sqrt.c

copy_set_operations.c

division_operations.c

dot_product_with_scale.c

resample_by_2.c

analog_agc.c

digital_agc.c
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐