科普来了！直播时音频与视频不同步，看看中帝威怎么解释?

在采用普通切换台做直播时，总有小伙伴反映，部分设备搭配时可能出现音频与视频不同步现象，到底是哪个环节出了问题?

    在分析这个问题之前我们来学习一些专业知识

硬件切换台

   指内部处理主要采用硬件来实现视频切换的切换台，内部按流水线方式处理，因此，这类切换台处理速度快，开机快,不死机，但因是纯硬件架构，”花俏”的功能较少。如：特效的种类及特效的样式不是很多.

软件切换台

   指内部处理主要采用软件来实现视频切换的切换台，主要依靠CPU运算的方式处理，因此，这类切换台处理速度由CPU的算力来决定，开机慢，偶尔死机，但依靠不同功能的支持，可实现很多”花俏”的功能。如：复杂特效,3D效果等.

实时非压缩视频

  指视频处理过程中视频内容无压缩，清晰度高，实时性好，但数据量庞大。

压缩视频

  指视频经过算法进行视频压缩，清晰度降低，数据量小，实时性根据压缩算法不同而不同

帧内压缩

  指视频在压缩时在1帧视频内进行，压缩效率低，但延迟小，线性编辑时精确到”帧”，常用的格式如PRORES,DNX,MJPG等

帧间压缩

  指视频在压缩时在多帧视频内进行压缩，存在预测帧,压缩效率高，但延迟大，常用的如MPEG,H.264,H.265等

预测帧

  指视频在压缩时通过当前帧画面与前一帧或后一帧的画面运算，预测出来的一帧数值。恢复预测帧需要用到相邻几帧的数据，线性编辑时困难一些。

IP包重传机制

指采用IP包传送数据时，如果传输过程出现错误或没有到达目的地,发送端会重新传送这个数据包。特别是在WIFI或4G时，干扰信号会导致IP包大量的重新传送。

音频早于视频

    指的是在视频与音频同时传输时，音频先于视频到达目的地。一般是设备内部没有音频及视频同频机制而引起的。因为音频数据量相当小，而视频数据量相当大。特别是IP包传送时，IP包重传及丢包均可能造成音频早于视频。

 

有了上面的基本概念，我们来分析一下什么样的设备会出现音频及视频不同步? 首先我们将直播常用的设备列一下：

   输入源:专业摄像机，通用摄像机，IP摄像机，电脑显卡输出，无线图传，播放器等

输出源:监视器,录像机，PC推流，移动设备推流，大屏显示等

一、关于切换台

如果采用硬件切换台，是不会出现音频及视频不同步的，因为硬件切换台采用流水线方式，非压缩的音频及视频都是按一定顺序输入及输出。

如果采用软件切换台，则依靠CPU/GPU的运算能力，很简单的方法是打开”任务管理器”，在切换台大部分功能开启时，查看CPU及内存的消耗状况，如果小于60%,应该没什么问题,如果大于80%,则可能存在问题。建议更换CPU或加大内存。

二、关于摄像机

专业摄像机肯定没问题，部分IP相机也可输出SDI及HDMI等信号，但需注意，IP相机通常IP部分用软件实现，SDI及HDMI用硬件实现，如果IP的任务过重，可能会影响到SDI及HDMI的效果。

三、关于电脑及显卡输出

电脑及显卡也是基于软件来处理的，通常没有问题。但如果所用素材、播放器类别及显卡驱动等因素，也可能出现音频及视频不同步。

四、无线图传(重点说明)

目前无线图传的技术主要有2类:

1.以AMIMO为主导的非压缩无线图传，如前所述，非压缩视频实时性好，价格较高，通常不会出现音频及视频不同问题。

2.以WIFI或改进WIFI技术，采用视频压缩方式的无线图传，数据量小，清晰度低，但这类产品价格便宜。下面针对采用WIFI及压缩视频的无线图传进行分析：

WIFI能传输的数据量不大，且随着距离增加，传输的数据量会下降，因此，非压缩视频肯定是传不了的，只能采用压缩视频。

目前主流的压缩视频格式采用H.264/H.265,而H.264/H.265采用的是帧间压缩，且存在预测帧，解码时需要将预测帧恢复，延迟相对较大。

而音频的数理量不大，可以压缩，也可以选择不压缩

当WIFI信号质量好时，音频及视频可以按正常的顺序到达目的地

当WIFI信号质量差时，因为IP重传机制, 数据量小的音频都早于视频到达目的地

如果解码端的音频及视频有同步机制，可以解决音频及视频同步问题，但如果没有同步机制，则音频会首先播出，视频则延迟到达，出现音频及视频不同步

五、监视器及大屏显示等

  目前监视器基本采用硬件架构，不会出现音频及视频不同步

六、关于录像机及推流设备

    如前面无线图所述,只要采用的是帧间压缩通且设计时没有音频及视频的同步机制，均可能出现音频及视频不同步，一般表现为音频早于视频。

 

好了，小伙伴们，通过上面的讲解，你明白为什么音频及视频为什么不同步?而且总是音频早于视频?在此，还是总结一下：

发生音频及视频为不同步，通常发生在有视频压缩的设备、纯软件处理的设备或者基于IP来传送视频及音频的设备。非压缩视频基本不会出现这个情况。是不是抽空查检一下自己所用设备的类型？这样很快就会找到是哪一个设备引起的音频及视频不同步。

 

感谢关注中帝威！

欢迎给我们留言。