Android 多媒体框架 OpenCore（PacketVideo）介绍

OpenCore的另外一个常用的称呼是PacketVideo，它是Android的多媒体核心。PacketVideo是一家公司的名称，OpenCore是这套多媒体框架的软件层的名称。在Android的开发者层次看，二者的含义基本相同。对比Android的其它程序库，OpenCore的代码非常庞大，它是一个基于C++的实现，定义了全功能的操作系统移植层，各种基本的功能均被封装成类的形式，各层次之间的接口多使用继承等方式。OpenCore是一个多媒体的框架，从宏观上来看，它主要包含了两大方面的内容：

　　* PVPlayer：提供媒体播放器的功能，完成各种音频(Audio)、视频(Video)流的回放(Playback)功能

　　* PVAuthor：提供媒体流记录的功能，完成各种音频(Audio)、视频(Video)流的以及静态图像捕获功能

　　PVPlayer和PVAuthor以SDK的形式提供给开发者，可以在这个SDK之上构建多种应用程序和服务。比如在移动终端中常常使用的多媒体应用程序，例如媒体播放器、照相机、录像机、录音机等等。

　　为了更好的组织整体的架构，OpenCore在软件层次在宏观上分成几个层次：

　　* OSCL：Operating System Compatibility Library (操作系统兼容库)，包含了一些操作系统底层的操作，为了更好地在不同操作系统移植。包含了基本数据类型、配置、字符串工具、IO、错误处理、线程等内容，类似一个基础的C++库。

　　* PVMF：PacketVideo Multimedia Framework(PV多媒体框架)，在框架内实现一个文件解析(parser)和组成(composer)、编解码的NODE，也可以继承其通用的接口，在用户层实现一些NODE。

　　* PVPlayer Engine：PVPlayer引擎。

　　* PVAuthor Engine：PVAuthor引擎。

　　事实上，OpenCore中包含的内容非常多：从播放的角度，PVPlayer的输入(Source)是文件或者网络媒体流，输出(Sink)是音频视频的输出设备，其基本功能包含了媒体流控制、文件解析、音频视频流的解码(Decode)等方面的内容。除了从文件中播放媒体文件之外，还包含了与网络相关的RTSP流(Real
Time Stream Protocol,实时流协议)。在媒体流记录的方面，PVAuthor的输入(Source)是照相机、麦克风等设备，输出(Sink)是各种文件，包含了流的同步、音频视频流的编码(Encode)以及文件的写入等功能。

　　在使用OpenCore的SDK的时候，有可能需要在应用程序层实现一个适配器(Adaptor)，然后在适配器之上实现具体的功能，对于PVMF的NODE也可以基于通用的接口，在上层实现，以插件的形式使用。

======黑软基地手机资讯频道======

　　

　　第二部分 OpenCore的代码结构

　　2.1 代码结构

　　以开源Android的代码为例，OpenCore的代码在以下目录中：external/opencore/。这个目录是OpenCore的根目录，其中包含的子目录如下所示：

　　* android：这里面是一个上层的库，它基于PVPlayer和PVAuthor的SDK实现了一个为Android使用的Player和Author。

　　* baselibs：包含数据结构和线程安全等内容的底层库

　　* codecs_v2：这是一个内容较多的库，主要包含编解码的实现，以及一个OpenMAX的实现

　　* engines：包含PVPlayer和PVAuthor引擎的实现

　　* extern_libs_v2：包含了khronos的OpenMAX的头文件

　　* fileformats：文件格式的解析(parser)工具

　　* nodes：提供一些PVMF的NODE，主要是编解码和文件解析方面的。

　　* oscl：操作系统兼容库

　　* pvmi： 输入输出控制的抽象接口

　　* protocols：主要是与网络相关的RTSP、RTP、HTTP等协议的相关内容

　　* tools_v2：编译工具以及一些可注册的模块。

　　在external/opencore/目录中还有2个文件，如下所示：

　　* Android.mk：全局的编译文件

　　* pvplayer.conf：配置文件

　　在external/opencore/的各个子文件夹中包含了众多的Android.mk文件，它们之间还存在着“递归”的关系。例如根目录下的Android.mk，就包含了如下的内容片断：

　　include $(PV_TOP)/engines/player/test/Android.mk

　　include $(PV_TOP)/engines/author/test/Android.mk

　　include $(PV_TOP)/engines/2way/test/Android.mk

　　这表示了要引用若干文件夹下面的Android.mk文件。external/opencore/的各个Android.mk文件可以按照排列组合进行使用，将几个Android.mk内容合并在一个库当中。

　　2.2 编译结构

　　1.库的层次关系：在Android的开源版本中编译出来的内容，OpenCore编译出来的各个库如下所示：

　　* libopencorecommon.so：OpenCore底层的公共库

　　* libopencoredownloadreg.so ：下载注册库

　　* libopencoredownload.so：下载功能实现库

　　* libopencoremp4reg.so：MP4注册库

　　* libopencoremp4.so：MP4功能实现库

　　* libopencorenet_support.so：网络支持库

======黑软基地手机资讯频道======

　　

　　* libopencoreplayer.so：OpenCore的Player库

　　* libopencoreauthor.so：OpenCore的Author库

　　* libopencorertspreg.so：RTSP注册库

　　* libopencorertsp.so：RTSP功能实现库

　　OpenCore的各个库之间具有如下的关系：

libopencorecommon.so是所有的库的依赖库，提供了公共的功能;

　　libopencoreplayer.so和libopencoreauthor.so是两个并立的库，分别用于回放和记录，而且这两个库是OpenCore对外的接口库;

　　libopencorenet_support.so提供网络支持的功能;

　　一些功能以插件(Plug-In)的方式放入Player中使用，每个功能使用两个库，一个实现具体功能，一个用于注册。

　　2.libopencorecommon.so库的结构

　　libopencorecommon.so是整个OpenCore的核心库，它的编译控制的文件的路径为pvcommon/Android.mk，这个文件使用递归的方式寻找子文件：

　　include $(BUILD_SHARED_LIBRARY)

　　include $(PV_TOP)//oscl/oscl/osclbase/Android.mk

　　include $(PV_TOP)//oscl/oscl/osclerror/Android.mk

　　include $(PV_TOP)//oscl/oscl/osclmemory/Android.mk

　　include $(PV_TOP)//oscl/oscl/osclutil/Android.mk

　　include $(PV_TOP)//oscl/pvlogger/Android.mk

　　include $(PV_TOP)//oscl/oscl/osclproc/Android.mk

　　include $(PV_TOP)//oscl/oscl/osclio/Android.mk

　　include $(PV_TOP)//oscl/oscl/osclregcli/Android.mk

　　include $(PV_TOP)//oscl/oscl/osclregserv/Android.mk

　　include $(PV_TOP)//oscl/unit_test/Android.mk

　　include $(PV_TOP)//oscl/oscl/oscllib/Android.mk

　　include $(PV_TOP)//pvmi/pvmf/Android.mk

　　include $(PV_TOP)//baselibs/pv_mime_utils/Android.mk

　　include $(PV_TOP)//nodes/pvfileoutputnode/Android.mk

　　include $(PV_TOP)//baselibs/media_data_structures/Android.mk

　　include $(PV_TOP)//baselibs/threadsafe_callback_ao/Android.mk

　　include $(PV_TOP)//codecs_v2/utilities/colorconvert/Android.mk

　　include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_nb/common/Android.mk

　　include $(PV_TOP)//codecs_v2/video/avc_h264/common/Android.mk

======黑软基地手机资讯频道======

　　

　　这些被包含的Android.mk文件真正指定需要编译的文件，这些文件在Android.mk的目录及其子目录中。事实上，在libopencorecommon.so库中包含了以下内容：

　　* OSCL的所有内容

　　* Pvmf框架部分的内容(pvmi/pvmf/Android.mk)

　　* 基础库中的一些内容(baselibs)

　　* 编解码的一些内容

　　* 文件输出的node(nodes/pvfileoutputnode/Android.mk)

　　从库的结构中可以看出，最终生成库的结构与OpenCore的层次关系并非完全重合。libopencorecommon.so库中就包含了底层的OSCL的内容、PVMF的框架以及Node和编解码的工具。

　　3.libopencoreplayer.so库的结构

　　libopencoreplayer.so是用于播放的功能库，它的编译控制的文件的路径为pvplayer/Android.mk，它包含了以下的内容：

　　include $(BUILD_SHARED_LIBRARY)

　　include $(PV_TOP)//engines/player/Android.mk

　　include $(PV_TOP)//codecs_v2/audio/aac/dec/util/getactualaacconfig/Android.mk

　　include $(PV_TOP)//codecs_v2/video/avc_h264/dec/Android.mk

　　include $(PV_TOP)//codecs_v2/audio/aac/dec/Android.mk

　　include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_nb/dec/Android.mk

　　include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_wb/dec/Android.mk

　　include $(PV_TOP)//codecs_v2/audio/gsm_amr/common/dec/Android.mk

　　include $(PV_TOP)//codecs_v2/audio/mp3/dec/Android.mk

　　include $(PV_TOP)//codecs_v2/utilities/m4v_config_parser/Android.mk

　　include $(PV_TOP)//codecs_v2/utilities/pv_video_config_parser/Android.mk

　　include $(PV_TOP)//codecs_v2/omx/omx_common/Android.mk

　　include $(PV_TOP)//codecs_v2/omx/omx_queue/Android.mk

　　include $(PV_TOP)//codecs_v2/omx/omx_h264/Android.mk

　　include $(PV_TOP)//codecs_v2/omx/omx_aac/Android.mk

　　include $(PV_TOP)//codecs_v2/omx/omx_amr/Android.mk

　　include $(PV_TOP)//codecs_v2/omx/omx_mp3/Android.mk

　　include $(PV_TOP)//codecs_v2/omx/factories/omx_m4v_factory/Android.mk

　　include $(PV_TOP)//codecs_v2/omx/omx_proxy/Android.mk

======黑软基地手机资讯频道======

　　

　　include $(PV_TOP)//nodes/common/Android.mk

　　include $(PV_TOP)//pvmi/content_policy_manager/Android.mk

　　include $(PV_TOP)//pvmi/content_policy_manager/plugins/oma1/passthru/Android.mk

　　include $(PV_TOP)//pvmi/content_policy_manager/plugins/common/Android.mk

　　include $(PV_TOP)//pvmi/media_io/pvmiofileoutput/Android.mk

　　include $(PV_TOP)//fileformats/common/parser/Android.mk

　　include $(PV_TOP)//fileformats/id3parcom/Android.mk

　　include $(PV_TOP)//fileformats/rawgsmamr/parser/Android.mk

　　include $(PV_TOP)//fileformats/mp3/parser/Android.mk

　　include $(PV_TOP)//fileformats/mp4/parser/Android.mk

　　include $(PV_TOP)//fileformats/rawaac/parser/Android.mk

　　include $(PV_TOP)//fileformats/wav/parser/Android.mk

　　include $(PV_TOP)//nodes/pvaacffparsernode/Android.mk

　　include $(PV_TOP)//nodes/pvmp3ffparsernode/Android.mk

　　include $(PV_TOP)//nodes/pvamrffparsernode/Android.mk

　　include $(PV_TOP)//nodes/pvmediaoutputnode/Android.mk

　　include $(PV_TOP)//nodes/pvomxvideodecnode/Android.mk

　　include $(PV_TOP)//nodes/pvomxaudiodecnode/Android.mk

　include $(PV_TOP)//nodes/pvwavffparsernode/Android.mk

　　include $(PV_TOP)//pvmi/recognizer/Android.mk

　　include $(PV_TOP)//pvmi/recognizer/plugins/pvamrffrecognizer/Android.mk

　　include $(PV_TOP)//pvmi/recognizer/plugins/pvmp3ffrecognizer/Android.mk

　　include $(PV_TOP)//pvmi/recognizer/plugins/pvwavffrecognizer/Android.mk

　　include $(PV_TOP)//engines/common/Android.mk

　　include $(PV_TOP)//engines/adapters/player/framemetadatautility/Android.mk

　　include $(PV_TOP)//protocols/rtp_payload_parser/util/Android.mk

　　include $(PV_TOP)//android/Android.mk

　　include $(PV_TOP)//android/drm/oma1/Android.mk

　　include $(PV_TOP)//tools_v2/build/modules/linux_rtsp/core/Android.mk

======黑软基地手机资讯频道======

　　

　　include $(PV_TOP)//tools_v2/build/modules/linux_rtsp/node_registry/Android.mk

　　include $(PV_TOP)//tools_v2/build/modules/linux_net_support/core/Android.mk

　　include $(PV_TOP)//tools_v2/build/modules/linux_download/core/Android.mk

　　include $(PV_TOP)//tools_v2/build/modules/linux_download/node_registry/Android.mk

　　include $(PV_TOP)//tools_v2/build/modules/linux_mp4/core/Android.mk

　　include $(PV_TOP)//tools_v2/build/modules/linux_mp4/node_registry/Android.mk

　　libopencoreplayer.so中包含了以下内容：

　　* 一些解码工具

　　* 文件的解析器(mp4)

　　* 解码工具对应的Node

　　* player的引擎部分(engines/player/Android.mk)

　　* 为Android的player适配器(android/Android.mk)

　　* 识别工具(pvmi/recognizer)

　　* 编解码工具中的OpenMax部分(codecs_v2/omx)

　　* 对应几个插件Node的注册

　　libopencoreplayer.so中的内容较多，其中主要为各个文件解析器和解码器，PVPlayer的核心功能在engines/player /Android.mk当中，而android/Android.mk的内容比较特殊，它是在PVPlayer之上构建的一个为Android使用的播放器。

　　4.libopencoreauthor.so库的结构

　　libopencoreauthor.so是用于媒体流记录的功能库，它的编译控制的文件的路径为pvauthor/Android.mk，它包含了以下的内容：

　　include $(BUILD_SHARED_LIBRARY)

　　include $(PV_TOP)//engines/author/Android.mk

　　include $(PV_TOP)//codecs_v2/video/m4v_h263/enc/Android.mk

　　include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_nb/enc/Android.mk

　　include $(PV_TOP)//codecs_v2/video/avc_h264/enc/Android.mk

　　include $(PV_TOP)//fileformats/mp4/composer/Android.mk

　　include $(PV_TOP)//nodes/pvamrencnode/Android.mk

　　include $(PV_TOP)//nodes/pvmp4ffcomposernode/Android.mk

　　include $(PV_TOP)//nodes/pvvideoencnode/Android.mk

　　include $(PV_TOP)//nodes/pvavcencnode/Android.mk

　　include $(PV_TOP)//nodes/pvmediainputnode/Android.mk

======黑软基地手机资讯频道======

　　

　　include $(PV_TOP)//android/author/Android.mk

　　libopencoreauthor.so中包含了以下内容：

　　* 一些编码工具(视频流H263、H264，音频流Amr)

　　* 文件的组成器(mp4)

　　* 编码工具对应的Node

　　* 表示媒体输入的Node(nodes/pvmediainputnode/Android.m)

　　* author的引擎部分(engines/author/Android.mk)

　　* 为Android的author适配器(android/author/Android.mk)

　　libopencoreauthor.so中主要为各个文件编码器和文件组成器，PVAuthor的核心功能在engines/author /Android.mk当中，而android/author/Android.mk是在PVAuthor之上构建的一个为Android使用的媒体记录器。

　　5.其他库

　　另外的几个库的Android.mk文件的路径如下所示：

　　网络支持库libopencorenet_support.so：

　　tools_v2/build/modules/linux_net_support/core/Android.mk

　　MP4功能实现库libopencoremp4.so和注册库libopencoremp4reg.so：

　　tools_v2/build/modules/linux_mp4/core/Android.mk

　　tools_v2/build/modules/linux_mp4/node_registry/Android.mk

　　RTSP功能实现库libopencorertsp.so和注册库libopencorertspreg.so：

　　tools_v2/build/modules/linux_rtsp/core/Android.mk

　　tools_v2/build/modules/linux_rtsp/node_registry/Android.mk

　　下载功能实现库libopencoredownload.so和注册库libopencoredownloadreg.so：

　　tools_v2/build/modules/linux_download/core/Android.mk

　　tools_v2/build/modules/linux_download/node_registry/Android.mk