android媒体--stagefright概述【一】
2016-03-01 14:24
471 查看
最近杂七杂八的忙碌着,前几天看了下这部分主要是stagefright模块的,所以更改下名字
做了挺长时间的android平台的媒体开发,对之前的分析进行一个阶段性的总结。
一、android结构图(上下文关系)
二、android目录结构
自从android4.2版本之后,媒体的相关代码都放到framework/av/的目录中,俗称"AV工作者",呵呵(本地代码不是太健全,目录我手动敲,公司代码健全,直接导出目录树)
[plain]
view plain
copy
print?
|----- media
| |
| |-- libmedia_native //JNI交互部分,从名字可以看出来
| |
| |-- libmedia //一个服务端的代理,对应用层提供相关的接口,和服务端交互
| |
| |-- libmediaplayerservice //服务段 (分发器,交换机的作用,个人理解)
| |
| |-- libstagefright //一个服务端的分支,支持工作
| |
| |-- mediaserver //媒体进程,管理媒体一些相关信息,关注较少
| |
| |-- mtp //文件夹操作媒体的相关东西
| |
再进一步,我们看一下stagefright的里面包括什么东东
[plain]
view plain
copy
print?
|-- stagefright
| |
| |-- codecs //提供解码器实现
| |
| |-- colorconversion //颜色空间转换
| |
| |-- foundation //基本数据结构的实现
| |
| |-- httplive //m3u8解析
| |
| |-- id3 // ID3 TAG解析(一般用于MP3格式的metadata容器)
| |
| |-- include //基本头文件
| |
| |-- matroska //matroska文件解析
| |
| |-- mpeg2ts //mpeg2ts文件解析和数据获取一些处理
| |
| |-- mp4 //MP4的格式解析
| |
| |-- omx //IOMX接口实现
| |
| |-- rtsp //rtsp文件解析
| |
| |-- wifi-display //关于wifi的处理
| |
| |-- yuv //YUV数据的处理
| |
三、“演讲恐惧着”的接口事件
本地媒体的事件处理接口
stage fright 英文的意思就: 演讲恐惧者,AwesomePlayer 功能强大的播放器
在android中也是这个这样,“演讲恐惧者”有强大的接口和事件处理接口,但是,它不去实现,而是全部通过AwesomePlayer来完成的,在其初始化时,就直接实例化功能强大播放器并且对其设置监听。代码如下:
StageFrightPlayer.cpp
[cpp]
view plain
copy
print?
StagefrightPlayer::StagefrightPlayer()
: mPlayer(new AwesomePlayer) {
ALOGV("StagefrightPlayer");
mPlayer->setListener(this);
}
接口基本调用流程:
1.Java层通过JNI调用C++侧的mediaplayer相关接口
2.mediaPlayerService中创建服务器端客户端,分别实例化相关播放器,这里会把接口事件调用到具体的播放器如:本地媒体调用stagefright,流媒体调用NuPlayerDriver
3.stagefright会调用AwesomePlayer相应接口,其实流媒体侧和本地媒体类似的,最后会调用Nuplayer
媒体事件类型
[cpp]
view plain
copy
print?
enum media_event_type {
MEDIA_NOP = 0, // interface test message
MEDIA_PREPARED = 1, //媒体准备完毕
MEDIA_PLAYBACK_COMPLETE = 2, //播放事件
MEDIA_BUFFERING_UPDATE = 3, //Buffer更新事件,更新的值是百分比
MEDIA_SEEK_COMPLETE = 4, //seek事件
MEDIA_SET_VIDEO_SIZE = 5, //视频尺寸
MEDIA_TIMED_TEXT = 99, //字幕相关的,基本不用
MEDIA_ERROR = 100, //错误
MEDIA_INFO = 200, //媒体详细信息
};
stagefright模块结构
stagefright模块结构图
1.mediaPlayerservice调用Stagefright相应的接口
2.Stagefright调用AwesomePlayer相应的接口
3.AwesomePlayer调用OMXCode读取ES数据,并且进行解码的处理
4.OMXCodec调用MediaSource的read函数来获取音视频的数据
5.OMXCodec调用Android的IOMX接口,其实就是Stagefrightde中的 OMX实现
6. OMX调用OMXMaster,而OMXMaster调用OMXPluginBase的接口,这里也可以获取外部的Codec的插件,最终调用对应的解码组建来完成解码,不同解码组件不太相同,后面会做介绍
7.解码完成后,通过OMXcodec返回的裸码流数据会在Awesomeplayer中调用Render模块,实现渲染,从而给用户提供了画面
做了挺长时间的android平台的媒体开发,对之前的分析进行一个阶段性的总结。
一、android结构图(上下文关系)
二、android目录结构
自从android4.2版本之后,媒体的相关代码都放到framework/av/的目录中,俗称"AV工作者",呵呵(本地代码不是太健全,目录我手动敲,公司代码健全,直接导出目录树)
[plain]
view plain
copy
print?
|----- media
| |
| |-- libmedia_native //JNI交互部分,从名字可以看出来
| |
| |-- libmedia //一个服务端的代理,对应用层提供相关的接口,和服务端交互
| |
| |-- libmediaplayerservice //服务段 (分发器,交换机的作用,个人理解)
| |
| |-- libstagefright //一个服务端的分支,支持工作
| |
| |-- mediaserver //媒体进程,管理媒体一些相关信息,关注较少
| |
| |-- mtp //文件夹操作媒体的相关东西
| |
再进一步,我们看一下stagefright的里面包括什么东东
[plain]
view plain
copy
print?
|-- stagefright
| |
| |-- codecs //提供解码器实现
| |
| |-- colorconversion //颜色空间转换
| |
| |-- foundation //基本数据结构的实现
| |
| |-- httplive //m3u8解析
| |
| |-- id3 // ID3 TAG解析(一般用于MP3格式的metadata容器)
| |
| |-- include //基本头文件
| |
| |-- matroska //matroska文件解析
| |
| |-- mpeg2ts //mpeg2ts文件解析和数据获取一些处理
| |
| |-- mp4 //MP4的格式解析
| |
| |-- omx //IOMX接口实现
| |
| |-- rtsp //rtsp文件解析
| |
| |-- wifi-display //关于wifi的处理
| |
| |-- yuv //YUV数据的处理
| |
三、“演讲恐惧着”的接口事件
本地媒体的事件处理接口
stage fright 英文的意思就: 演讲恐惧者,AwesomePlayer 功能强大的播放器
在android中也是这个这样,“演讲恐惧者”有强大的接口和事件处理接口,但是,它不去实现,而是全部通过AwesomePlayer来完成的,在其初始化时,就直接实例化功能强大播放器并且对其设置监听。代码如下:
StageFrightPlayer.cpp
[cpp]
view plain
copy
print?
StagefrightPlayer::StagefrightPlayer()
: mPlayer(new AwesomePlayer) {
ALOGV("StagefrightPlayer");
mPlayer->setListener(this);
}
接口基本调用流程:
1.Java层通过JNI调用C++侧的mediaplayer相关接口
2.mediaPlayerService中创建服务器端客户端,分别实例化相关播放器,这里会把接口事件调用到具体的播放器如:本地媒体调用stagefright,流媒体调用NuPlayerDriver
3.stagefright会调用AwesomePlayer相应接口,其实流媒体侧和本地媒体类似的,最后会调用Nuplayer
媒体事件类型
[cpp]
view plain
copy
print?
enum media_event_type {
MEDIA_NOP = 0, // interface test message
MEDIA_PREPARED = 1, //媒体准备完毕
MEDIA_PLAYBACK_COMPLETE = 2, //播放事件
MEDIA_BUFFERING_UPDATE = 3, //Buffer更新事件,更新的值是百分比
MEDIA_SEEK_COMPLETE = 4, //seek事件
MEDIA_SET_VIDEO_SIZE = 5, //视频尺寸
MEDIA_TIMED_TEXT = 99, //字幕相关的,基本不用
MEDIA_ERROR = 100, //错误
MEDIA_INFO = 200, //媒体详细信息
};
stagefright模块结构
stagefright模块结构图
1.mediaPlayerservice调用Stagefright相应的接口
2.Stagefright调用AwesomePlayer相应的接口
3.AwesomePlayer调用OMXCode读取ES数据,并且进行解码的处理
4.OMXCodec调用MediaSource的read函数来获取音视频的数据
5.OMXCodec调用Android的IOMX接口,其实就是Stagefrightde中的 OMX实现
6. OMX调用OMXMaster,而OMXMaster调用OMXPluginBase的接口,这里也可以获取外部的Codec的插件,最终调用对应的解码组建来完成解码,不同解码组件不太相同,后面会做介绍
7.解码完成后,通过OMXcodec返回的裸码流数据会在Awesomeplayer中调用Render模块,实现渲染,从而给用户提供了画面
相关文章推荐
- Android Timer的自动功能
- BroadcastReceiver的两种注册方式(静态注册和动态注册)android开发教程
- Android刮刮卡原理及实现
- Android笔记(二)SpannableString显示表情
- Android项目Tab类型主界面大总结 Fragment+TabPageIndicator+ViewPager
- Android可动态改变compoundDrawable颜色的TextView
- Android中的系统广播集合
- Android中的静态系统广播和动态系统广播
- android开发 wifi开发不稳定性测试
- 60条Android日常开发总结的技术经验
- Android提供的支持不同屏幕大小的全部方法
- android之JNI开发步骤总结
- android中使用jni对字符串加解密实现分析
- Android 系统应用 注意的那些事
- android中View.measure方法详解
- Android-笔记-160301
- Android中的Looper类
- 最新版Android Studio(v1.4)如何导入第三方so
- %1$s %1$d Android string
- Android shape使用教程