可能是全网最全的移动直播 trouble shooting 手册(5)——音画不同步
2017-05-22 15:41
399 查看
在七牛做直播 SDK 一年多了,帮助客户解决过各种形形色色的问题,如直播卡顿、马赛克、花屏、黑屏、杂音、音画不同步等等等等,这其中,有一些是网络原因,有一些是客户的使用姿势问题,有一些是参数配置错误,当然,也有一些是 SDK 本身的问题。
总结下来,如果开发者能够对直播领域的一些基础知识有更深入的了解,掌握一些基本的排障手段,很多问题是能够很快自行解决的,甚至也能够更好地防患于未然。
因此,有了这个系列,我想把这一年多以来,帮助我们的直播客户排查问题的实战经验逐步分享出来,同时也会穿插一些音视频开发的基础知识和优化经验,真心希望能够帮助到直播领域的开发者们。
本系列会涵盖的内容包括但不限于如下一些主题:
播放失败
直播卡顿
首开慢
延时高
音画不同步
马赛克严重
播放黑屏、花屏、绿屏
播放杂音、噪音、回声
点播拖动不准
直播发热问题
其他问题(待续)
本文是 《直播疑难杂症排查》系列的第五篇文章,我们重点看下直播中常见的音画不同步问题。
如果内容的生产端给音视频数据打的时间戳本身就有问题的话,播放器也往往无能为力了,因此,音画不同步问题,更多的时候,应该从生产端去排查原因。
采集源距离太远
如果音频源离麦克风距离太远,声音传播到麦克风的速度远小于画面(光速),那么,摄像头采集到画面后给出的时间戳,肯定要远小于麦克风采集到同一时刻音频给出的时间戳,因此会产生音画不同步问题。
解决方案:音频源尽可能离麦克风设备近一点。
* 采集设备内部问题
摄像头和麦克风采集音视频,在硬件上都会经过一些信号处理模块,如果处理延时不稳定,则会导致输出数据的时间不稳定,从而导致应用层获取时间戳的时候产生误差,带来音画不同步问题。
解决方案:极少数硬件/机型才会有,需要根据采集参数(如采样率)做一些 Jitter 抖动的矫正。
时间戳没有在采集的时候获取
如果音视频帧的时间戳不是在采集的时候获取,而是在后续的某个环节再获取,则非常大概率地会出现音视频不同步问题。
先举个简单的例子:
假设音频 A 和 视频 B 同时从设备中被采集出来,时间戳为:TA 和 TB,他们差值会很小,播放端收到后会认为是同一时刻的音视频数据,从而一起播放。
但是,当 音频 A 和 视频 B 分别经过某些算法处理模块后,我们不慎在处理后重新获取当前时间戳为了 TA2 和 TB2,那么,这个更新后的时间戳差值可能会非常大,导致音画不同步。
那么,一般大家会「不慎」在哪些地方更改了采集的时间戳呢 ?
1.视频算法处理模块
比如:视频经过美颜、编码后,重新更新为了处理后的的时间戳。
2.缓冲区导致的不同步
多线程程序中,往往会在不同线程之间共享一些帧缓冲区,缓冲区会导致音视频对应关系发生变化,如果从缓冲区取数据后,抛弃掉了原有的时间戳,重新使用新的当前时间,那么,肯定会出现问题。
3.网络传输导致的不同步
由于网络的传输的延时、丢包等原因,同一时刻的音视频包不会正好同时准确到达,如果在接收到了数据后再打上当前的时间戳,肯定也会出现不同步问题。
时间戳出现回退或者紊乱
曾经有遇到过一些音画不同步的流,我把它的音视频时间戳打印出来后显示如下的结果:
该码流的时间戳没有单调递增,而是频繁出现了回退,这样的流,会导致播放器出现频繁卡顿,因为播放器的 master 主时钟一般是单调递增的,当出现小于主时钟的视频帧后,一般会做丢弃处理,画面不更新但是音频还是在继续播放,从而导致看起来声音和画面并没有匹配上的问题。
解决方案:排查推流端时间戳是否单调线性递增,或者排查服务端是否有对流的时间戳有过修改导致回退。
为了方便以后更好地定位该问题,大家可以修改 ffplay 源码,把读取到的每一帧音频、视频的时间戳打印出来看看,这里我给出我对 ffplay 的修改 commit 记录,大家可以参考一下:https://github.com/Jhuster/pili-ffmpeg/commit/4d0476faba5016b291c2eed2c0a2cd6fe303bd50
播放端性能问题
比如低端机型软解 1080P 的高清码流,会存在解码不够及时的问题,导致部分视频解码完成后,已经远慢于当前的音频时钟,只能丢弃,从而导致画面更新不及时,与正在播放的音频无法匹配上,从而产生音画不同步的现象。
解决方案:使用硬解,选择较低清的码流,增大播放缓冲,等等。
本文作者:卢俊@七牛云。如果有你感兴趣的问题,但是不在上述列表中,也可以来信 lujun.hust@gmail.com 交流,欢迎关注新浪微博 @卢_俊 或者 微信公众号 @Jhuster 获取最新的文章和资讯。
总结下来,如果开发者能够对直播领域的一些基础知识有更深入的了解,掌握一些基本的排障手段,很多问题是能够很快自行解决的,甚至也能够更好地防患于未然。
因此,有了这个系列,我想把这一年多以来,帮助我们的直播客户排查问题的实战经验逐步分享出来,同时也会穿插一些音视频开发的基础知识和优化经验,真心希望能够帮助到直播领域的开发者们。
本系列会涵盖的内容包括但不限于如下一些主题:
播放失败
直播卡顿
首开慢
延时高
音画不同步
马赛克严重
播放黑屏、花屏、绿屏
播放杂音、噪音、回声
点播拖动不准
直播发热问题
其他问题(待续)
本文是 《直播疑难杂症排查》系列的第五篇文章,我们重点看下直播中常见的音画不同步问题。
音画不同步的表现
很容易判断,就是画面和声音不匹配。音画同步的基础概念
首先我们要明白一个概念,虽然人的肉眼很容易辨别音画是否同步的,但是机器则不然,对于播放器而言,它判断一帧视频和一帧音频是否要在同一个时间渲染和播放,依靠的完全是该数据携带的时间戳信息。如果内容的生产端给音视频数据打的时间戳本身就有问题的话,播放器也往往无能为力了,因此,音画不同步问题,更多的时候,应该从生产端去排查原因。
音画不同步的问题排查
导致音画不同步的因素有很多,以下是直播实战中经常遇到的问题的整理。采集源距离太远
如果音频源离麦克风距离太远,声音传播到麦克风的速度远小于画面(光速),那么,摄像头采集到画面后给出的时间戳,肯定要远小于麦克风采集到同一时刻音频给出的时间戳,因此会产生音画不同步问题。
解决方案:音频源尽可能离麦克风设备近一点。
* 采集设备内部问题
摄像头和麦克风采集音视频,在硬件上都会经过一些信号处理模块,如果处理延时不稳定,则会导致输出数据的时间不稳定,从而导致应用层获取时间戳的时候产生误差,带来音画不同步问题。
解决方案:极少数硬件/机型才会有,需要根据采集参数(如采样率)做一些 Jitter 抖动的矫正。
时间戳没有在采集的时候获取
如果音视频帧的时间戳不是在采集的时候获取,而是在后续的某个环节再获取,则非常大概率地会出现音视频不同步问题。
先举个简单的例子:
假设音频 A 和 视频 B 同时从设备中被采集出来,时间戳为:TA 和 TB,他们差值会很小,播放端收到后会认为是同一时刻的音视频数据,从而一起播放。
但是,当 音频 A 和 视频 B 分别经过某些算法处理模块后,我们不慎在处理后重新获取当前时间戳为了 TA2 和 TB2,那么,这个更新后的时间戳差值可能会非常大,导致音画不同步。
那么,一般大家会「不慎」在哪些地方更改了采集的时间戳呢 ?
1.视频算法处理模块
比如:视频经过美颜、编码后,重新更新为了处理后的的时间戳。
2.缓冲区导致的不同步
多线程程序中,往往会在不同线程之间共享一些帧缓冲区,缓冲区会导致音视频对应关系发生变化,如果从缓冲区取数据后,抛弃掉了原有的时间戳,重新使用新的当前时间,那么,肯定会出现问题。
3.网络传输导致的不同步
由于网络的传输的延时、丢包等原因,同一时刻的音视频包不会正好同时准确到达,如果在接收到了数据后再打上当前的时间戳,肯定也会出现不同步问题。
时间戳出现回退或者紊乱
曾经有遇到过一些音画不同步的流,我把它的音视频时间戳打印出来后显示如下的结果:
该码流的时间戳没有单调递增,而是频繁出现了回退,这样的流,会导致播放器出现频繁卡顿,因为播放器的 master 主时钟一般是单调递增的,当出现小于主时钟的视频帧后,一般会做丢弃处理,画面不更新但是音频还是在继续播放,从而导致看起来声音和画面并没有匹配上的问题。
解决方案:排查推流端时间戳是否单调线性递增,或者排查服务端是否有对流的时间戳有过修改导致回退。
为了方便以后更好地定位该问题,大家可以修改 ffplay 源码,把读取到的每一帧音频、视频的时间戳打印出来看看,这里我给出我对 ffplay 的修改 commit 记录,大家可以参考一下:https://github.com/Jhuster/pili-ffmpeg/commit/4d0476faba5016b291c2eed2c0a2cd6fe303bd50
播放端性能问题
比如低端机型软解 1080P 的高清码流,会存在解码不够及时的问题,导致部分视频解码完成后,已经远慢于当前的音频时钟,只能丢弃,从而导致画面更新不及时,与正在播放的音频无法匹配上,从而产生音画不同步的现象。
解决方案:使用硬解,选择较低清的码流,增大播放缓冲,等等。
小结
关于播放出现音画不同步的问题排查大致就介绍到这里了,下篇我们将对马赛克严重这个话题进行探讨。推荐阅读:
视频直播技术详解本文作者:卢俊@七牛云。如果有你感兴趣的问题,但是不在上述列表中,也可以来信 lujun.hust@gmail.com 交流,欢迎关注新浪微博 @卢_俊 或者 微信公众号 @Jhuster 获取最新的文章和资讯。
相关文章推荐
- 可能是全网最全的移动直播 trouble shooting 手册(4)——延时高
- 可能是全网最全的移动直播trouble shooting手册(3)——首开慢
- 直播疑难杂症排查(5)— 音画不同步
- 《直播疑难杂症排查》之五: 音画不同步
- 【转载】LVS+MYCAT+读写分离+MYSQL主备同步部署手册(邢锋)
- MongoDb不能同步,可能是服务器时间不一致
- [转]移动应用统一化的谎言:一次编译,到处运行不可能
- 手机Android音视频采集与直播推送,实现单兵、移动监控类应用
- 全网最全ASP.NET MVC 教程汇总
- 最全团队管理手册
- 用户从手机的浏览器访问www.baidu.com,看到的可能跟桌面PC电脑,是不太一样的网页效果,会更适合移动设备使用。请简要分析一下,实现这种网页区分显示的原因及技术原理。
- 五分钟轻松搞定产品需求文档!这可能史上最全PRD文档模板
- 可能是东半球最全的RxJava使用场景小结
- AS3多人游戏开发—同步人物移动1
- 手机Android音视频採集与直播推送,实现单兵、移动监控类应用
- Delphi XE 5 移动开发入门手册(完整版)
- 直播通过VM虚拟机和移动硬盘安装Kail Linux
- 【备忘】 尚学堂_高明鑫_全网最新、最牛、最全andriod视频教程 下载
- 移动直播技术秒开优化经验
- 做移动视频直播应用的思路