播放器音视频同步及网络抖动解决方案
2017-03-23 15:34
791 查看
直接上代码看注释吧可能理解的更深刻一点:
音视频同步有三种,视频同步音频,音频同步视频,音视频同步到其他时钟,本文介绍视频同步音频,其他方式不适用。项目采用openal做音频渲染,sdl同理,opengl做视频渲染。
//具体算法方案请看注释
[cpp]
view plain
copy
//得到当前音频从包里拿出的pts减去第一帧pts所得时间再减去openal缓存的时间。//解决网络抖动问题
long long m_audio_real_pts = (m_audio_list_node_pts - m_first_audio_pts) - lvs_openal_getnumqueuedsize_realpts();
int delay = 0;
int diff = 0;;
//算出一帧视频本应该显示的时间
delay = 40;
// update delay to sync to audio
long long video_real_pts = yuv_data_node.pts - m_first_video_pts;
printf("yuv_data_node.ActualLen : %lld video_real_pts :%lld\n",yuv_data_node.ActualLen,video_real_pts);
//音频过快大于200毫秒 并且有音频存在的情况下 ,以及音频队列或缓存不为传输中间空 //解决网络抖动问题
if (m_audio_real_pts - video_real_pts > 200 && m_isfind_first_audio_pts == 1 &&
(m_list_Raw_data_pcm.size() != 0 || lvs_openal_getnumqueuedsize() != 0 ))
{
m_timer_realtime_video = 1;
}
//视频过快大于200毫秒 并且有音频存在的情况下,以及音频队列或缓存不为传输中间空 //解决网络抖动问题
else if (video_real_pts - m_audio_real_pts > 200 && m_isfind_first_audio_pts ==1 &&
(m_list_Raw_data_pcm.size() != 0 || lvs_openal_getnumqueuedsize() != 0 ))
{
m_timer_realtime_video = delay* 5; //如果 视频显示过快 则停留 5帧的时间
}
else
{
diff = video_real_pts - m_audio_openal_pts;
if(abs(diff) < AV_NOSYNC_THRESHOLD) //求浮点数x的绝对值
{
if(diff <= -delay)
{
delay = 10; //如果 视频显示过慢,离音频 过于远 则 显示时间为10ms
}
else if(diff >= delay)
{
delay = 2 * delay; //如果 视频显示过快 则停留 两帧的时间
}
}
m_timer_realtime_video = delay;
}
//变量名称
[cpp]
view plain
copy
static int m_timer_realtime_video ; //每一次回调渲染数据定时器时间,可根据时间戳变化,毫秒
static long long m_audio_list_node_pts; //当前从pcm的list中取出的时间最新 //解决网络抖动问题
static long long m_audio_openal_pts; //音频当前正在播放时间戳 //解决网络抖动问题
//存放解码后yuv数据的list
static list<Raw_data_yuv> m_list_Raw_data_yuv;
//存放解码后pcm数据的list
static list<Raw_data_pcm> m_list_Raw_data_pcm;
//实现效果
音视频同步有三种,视频同步音频,音频同步视频,音视频同步到其他时钟,本文介绍视频同步音频,其他方式不适用。项目采用openal做音频渲染,sdl同理,opengl做视频渲染。
//具体算法方案请看注释
[cpp]
view plain
copy
//得到当前音频从包里拿出的pts减去第一帧pts所得时间再减去openal缓存的时间。//解决网络抖动问题
long long m_audio_real_pts = (m_audio_list_node_pts - m_first_audio_pts) - lvs_openal_getnumqueuedsize_realpts();
int delay = 0;
int diff = 0;;
//算出一帧视频本应该显示的时间
delay = 40;
// update delay to sync to audio
long long video_real_pts = yuv_data_node.pts - m_first_video_pts;
printf("yuv_data_node.ActualLen : %lld video_real_pts :%lld\n",yuv_data_node.ActualLen,video_real_pts);
//音频过快大于200毫秒 并且有音频存在的情况下 ,以及音频队列或缓存不为传输中间空 //解决网络抖动问题
if (m_audio_real_pts - video_real_pts > 200 && m_isfind_first_audio_pts == 1 &&
(m_list_Raw_data_pcm.size() != 0 || lvs_openal_getnumqueuedsize() != 0 ))
{
m_timer_realtime_video = 1;
}
//视频过快大于200毫秒 并且有音频存在的情况下,以及音频队列或缓存不为传输中间空 //解决网络抖动问题
else if (video_real_pts - m_audio_real_pts > 200 && m_isfind_first_audio_pts ==1 &&
(m_list_Raw_data_pcm.size() != 0 || lvs_openal_getnumqueuedsize() != 0 ))
{
m_timer_realtime_video = delay* 5; //如果 视频显示过快 则停留 5帧的时间
}
else
{
diff = video_real_pts - m_audio_openal_pts;
if(abs(diff) < AV_NOSYNC_THRESHOLD) //求浮点数x的绝对值
{
if(diff <= -delay)
{
delay = 10; //如果 视频显示过慢,离音频 过于远 则 显示时间为10ms
}
else if(diff >= delay)
{
delay = 2 * delay; //如果 视频显示过快 则停留 两帧的时间
}
}
m_timer_realtime_video = delay;
}
//变量名称
[cpp]
view plain
copy
static int m_timer_realtime_video ; //每一次回调渲染数据定时器时间,可根据时间戳变化,毫秒
static long long m_audio_list_node_pts; //当前从pcm的list中取出的时间最新 //解决网络抖动问题
static long long m_audio_openal_pts; //音频当前正在播放时间戳 //解决网络抖动问题
//存放解码后yuv数据的list
static list<Raw_data_yuv> m_list_Raw_data_yuv;
//存放解码后pcm数据的list
static list<Raw_data_pcm> m_list_Raw_data_pcm;
//实现效果
相关文章推荐
- 播放器音视频同步及网络抖动解决方案
- 音视频同步、网络抖动
- 音视频同步解决方案
- 新的开始,与网络视频同步发展
- 网络视频会议整体解决方案
- 网络视频播放器源码免费赠送
- 音视频同步解决方案
- 企业网络视频监控解决方案
- ffmpeg+sdl教程----编写一个简单的播放器5(同步视频到音频)
- (转译)用FFmpeg和SDL写播放器--05同步视频
- 大型企业网络视频监控系统解决方案
- ffmpeg+sdl教程----编写一个简单的播放器5(同步视频到音频)
- 卫星与网络:传输流中PCR的抖动原因及解决方案
- 音视频同步解决方案
- AS3制作全功能的FLV网络视频播放器
- android学习笔记---44_在线视频播放器,网络视频解析器,SurfaceView 控件使用方法
- 杰士安校园网络视频监控解决方案
- 浅析DirectShow音视频同步解决方案
- 浅析DirectShow音视频同步解决方案
- Android播放器推荐:可以播放本地音乐、视频、在线播放音乐、视频、网络收音机等