Exoplayer使用记录1-播放多音轨视频

Exoplayer使用记录1-播放多音轨视频

By Xdestiny. 2018/2/5

概述

ExoPlayer是个好东西，基本上移动端的播放器除了IJKPlayer以外，应该就数这东西了吧。这里做一个系列，记录一下我摸索的一些东西。当然，本人并非专门搞播放器的，只是做一个记录而已。

最近接到一个需求，要求能够播放多音轨的视频。通常来说，视频中各个音轨对应着不同的播放场景，例如多语言、多码率。而现在的要求则是将所有音轨同时进行播放。

大致思路

其实一上来就能想到一个方法，就是实现做好预处理，把多个轨道压成一个轨道，这样就没有什么复杂的了。但如果是不能预先处理的情况下呢？

ExoPlayer有个好处就是有个相当活跃的社区。因此首先去Issue上搜索一下有没有类似的问题。

搜索后可以发现几个相关的问题

Exoplayer 2 - play multiple sounds/audio simultaneously (using MergingMediaSource?

Set the volume of multiple MediaSource’s in a MergingMediaSource

Background music during video playback

不过，好吧…似乎没有什么好的思路。干脆换个思路，如果是同时播多个视频呢？搜索一下相关的问题也有一些

Synchronizing Multiple ExoPlayers

这个就很好了，官方给了相关的解决方法。照着这个感觉应该OK。大体上来说就是：

- 重写

MediaCodecAudioRenderer

中的

getMediaClock

。因为现在是多个音轨，必须要显式指定一个音轨用于时钟同步

- 重写

DefaultRenderersFactory

中的

buildAudioRenderers

。原本只建立了一个

AudioRenderer

，现在需要依据视频中音轨的数目建立多个

AudioRenderer

- 重写

TrackSelector

中的

selectTracks

。因为原本的代码只考虑了只有一个renderer的情况。

具体代码

基本没怎么碰过java，而且又感觉Kotlin很高大上，所以写的很渣，见谅

重写

MediaCodecAudioRenderer

class MultiMediaCodecAudioRenderer(mainClock : Boolean, mediaCodecSelector : MediaCodecSelector,
drmSessionManager : DrmSessionManager<FrameworkMediaCrypto>?,
playClearSamplesWithoutKeys : Boolean, eventHandler : Handler?,
eventListener : AudioRendererEventListener?, audioCapabilities : AudioCapabilities,
vararg audioProcessors : AudioProcessor)
: MediaCodecAudioRenderer(mediaCodecSelector, drmSessionManager, playClearSamplesWithoutKeys, eventHandler,
eventListener, audioCapabilities, *audioProcessors)
{
private val m_mainClock = mainClock

override fun getMediaClock(): MediaClock? {
if(m_mainClock)
return super.getMediaClock()
return null
}

}

重写

DefaultRenderersFactory

class MultiTrackRenderersFactory(context : Context, drmSessionManager: DrmSessionManager<FrameworkMediaCrypto>? = null,
@ExtensionRendererMode extensionRendererMode : Int = DefaultRenderersFactory.EXTENSION_RENDERER_MODE_OFF,
videoTrackCnt : Int = 1, audioTrackCnt : Int = 1)
: DefaultRenderersFactory(context, drmSessionManager, extensionRendererMode) {

private val m_videoTrackCnt = videoTrackCnt
private val m_audioTrackCnt = audioTrackCnt

override fun buildAudioRenderers(context: Context?, drmSessionManager: DrmSessionManager<FrameworkMediaCrypto>?, audioProcessors: Array<AudioProcessor>?, eventHandler: Handler?, eventListener: AudioRendererEventListener?, extensionRendererMode: Int, out: ArrayList<Renderer>?) {
for (i in 0..m_audioTrackCnt - 1) {
if(audioProcessors == null)
out!!.add(MultiMediaCodecAudioRenderer(i == 0, MediaCodecSelector.DEFAULT, drmSessionManager, true,
eventHandler, eventListener, AudioCapabilities.getCapabilities(context)))
else
out!!.add(MultiMediaCodecAudioRenderer(i == 0, MediaCodecSelector.DEFAULT, drmSessionManager, true,
eventHandler, eventListener, AudioCapabilities.getCapabilities(context), *audioProcessors))
}
}
}

重写

TrackSelector

class MultiTrackSelector : TrackSelector() {

private val TAG = "MultiTrackSelector"

init {
Log.d(TAG, "init")
}

var currentMappedTrackInfo: MappingTrackSelector.MappedTrackInfo? = null
get() = field
private set(value){
field = value
}

override fun onSelectionActivated(info: Any?) {
currentMappedTrackInfo = info as MappingTrackSelector.MappedTrackInfo?
}

override fun selectTracks(rendererCapabilities: Array<out RendererCapabilities>, trackGroups: TrackGroupArray): TrackSelectorResult {
Log.d(TAG, "renderer count = ${rendererCapabilities.size}. trackGroups count = ${trackGroups.length}")
val rendererCount = rendererCapabilities.size
val rendererTrackSelections = arrayOfNulls<TrackSelection>(rendererCount)

//这里先凑合一下
for(i in rendererCapabilities.indices){
when(rendererCapabilities[i].trackType){
C.TRACK_TYPE_VIDEO->{
rendererTrackSelections[i] = FixedTrackSelection(trackGroups[i], 0)
}
C.TRACK_TYPE_AUDIO->{
if(trackGroups.length > i)
rendererTrackSelections[i] = FixedTrackSelection(trackGroups[i], 0)
}
C.TRACK_TYPE_TEXT->{
if(trackGroups.length > i)
rendererTrackSelections[i] = FixedTrackSelection(trackGroups[i], 0)
}
else->{

}
}
}

val rendererConfigurations = arrayOfNulls<RendererConfiguration>(rendererCapabilities.size)
for (i in rendererCapabilities.indices) {
rendererConfigurations[i] = if (rendererTrackSelections[i] != null) RendererConfiguration.DEFAULT else null
}

return TrackSelectorResult(trackGroups, TrackSelectionArray(*rendererTrackSelections), null, rendererConfigurations)
}
}

中间可以看到，我省去了原本代码中的一大堆与码率、格式有关的判定，因此是凑合一下。