声画同步问题.doc

高标清同播时期声画同步问题的探讨制作中心转播录制科 张子斌在标清时代，我们在演播室和转播车的节目制作中，基本上没有出现视音频信号不同步的现象，虽然每次我们在节目制作前都认真地对视音频同步做了测试，但几乎每次都发现视音频信号配合的很默契，并不需要我们担心。但是在这个高标清混合存在，模拟与数字音频并存的时代，我们不得不去认真考虑这个问题。首先我们来看看我们调节视音频同步的主观感受。图1 声画同步门限如图1所示，我们以0ms出现的画面为基准，以同帧画面的同步声来看声音超前或者滞后而产生的影响，根据人类视觉和听觉的生理特性，通过大量的实验和数据统计，我们得到以下结论。当声音超前20ms或滞后80ms的范围内，也就是声音超前于画面半帧或滞后于画面2帧以内，人们完全感觉不到存在声画不同步的问题，此段称为不可察觉的门限。当声音超前40ms或滞后120ms的范围内，也就是声音超前于画面1帧或滞后于画面3帧以内，人们将会感觉到似乎有声画不同步的问题（不同的人有不同的结论，也许极少数非常敏感的专业人士已经完全感觉到，但是大部分人还是不能下确定结论），我们称此段空间为可察觉的门限。当声音超前90ms或滞后180ms的范围内，也就是声音超前于画面2.25帧或滞后于画面4.5帧以内，人们就会明显的感觉的声画不同步了，即便如此，人们还是可以基本接受此类不同步，所以称此段为可接受的门限。当然，如果不同步的范围超过可接受的门限，将会大大降低视听效果，让人无法接受。从上图1大家都可以看出，为什么人们对于声音的超前远远敏感与声音的滞后呢？也许这就是人类千百年感知经验造成的，大家知道，声音的传播速度大大低于光的传播速度，我们千百年来永远是先看到闪电，再听到雷声，人们在这样的自然环境中感知声音和画面，就造成了如此结果。让我们非常头疼的问题出现了，在高清电视制作系统中，声画不同步的问题正好违背了人类的感知经验声音总是超前于画面。那是什么原因造成了声音的超前呢？参见下图2。图2 声画同步的系统原因由上图2我们可以看出，高标清混合系统中由于视频信号和音频信号各自由不同的通道分别进行处理，而音频信号通道在处理中基本上不会产生延时，视频信号通过系统的延迟量大大超过了音频信号通道，所以造成了声画不同步，并且，这个不同步是声音超前的。假如我们正在室外做一场大型节目，已转播车为信号处理中心，现场信号源有转播车摄像机、微波车无线摄像机，未知的外来信号源，标清的信号源等，视频信号都进入转播车进行处理，音频信号全部进入现场一级调音，然后送到转播车进行音频处理，那么会造成较大视频延时的环节就有：1. 微波车无线摄像机的延时。2. 外来信号的自身延时量。3. 对于外来信号进行帧同步处理的延时量。4. 标清信号上变换的延时。5. 其它信号处理总延时。6. 输出标清信号的下变换延时等。如果我们考虑音频信号和视频信号分别输出，那么由上图可知，声画不同步的现象将十分明显，所以我们必须考虑使用音频延时器在音频系统后级校正，以保证我们最终输出的信号声画同步。但是我们也可以看到，经由不同视频设备造成的视频延时量是不一样的，但是所有现场音频信号基本上没有延时，比如说转播车自己的有线摄像机和微波车提供的无线摄像机之间的延时量大大不同，有线摄像机的延时非常小，基本上察觉不到，而微波无线摄像机提供的信号由于无线传输中编解码的原因，不可避免的产生了较大延时，虽然每个无线摄像机的生产厂商都声称自己的无线传输系统可以达到最小延时量（以损失画质为代价），但是，就是最小延时量也无法和有线摄像机的延时在一个数量级。所以我们要进一步考虑在音频前级处理中加入不同的延时来保证不同的摄像机各自的声画同步，例如我们在现场某些场景的主持人使用无线摄像机，由于主持人话筒是直接进入现场一级调音的，所以可以看到明显的声画不同步现象，破坏了现场效果，那我们就可以考虑对专门使用无线摄像机的主持人话筒信号进行前级延时，在进入一级调音之前对这个信号做延时处理，这样就可以解决无线摄像机的声画不同步问题（当然，解决这个问题的办法并非仅此一种，使用无线摄像机机头话筒拾音，从微波车解嵌无线摄像机传回的音频信号再送至一级调音也可以解决这个问题，还有其它一些方法，根据现场情况而定）。同样地，对于其它不确定视频延时量的信号，我们对于他们专用的音频信号都可以在前级进行不同的延时，以保证在进入一级调音之前他们能一致的保证声画同步。既然我们已经了解了声画不同步的基本原因和解决的基本办法，那么我们如何去具体校正系统中出现的声画不同步现象呢？我们先来讲讲比较普遍严谨的测试方法。通常，在一个转播车或者演播室系统完工的时候，我们都会对该系统做相应的调试和测试，这也包括了声画同步的校正，一般使用泰克公司的FLASH FOP序列作为声画同步的校正用测试信号。首先我们将信号发生器发出的信号解嵌，将视频信号送入系统视频信号入口，同样音频信号进入音频信号入口，然后使用泰克具有检测视音频延时插件的示波器，在需要检测声画同步的信号出口对信号进行测试即可。图3 Flash Pop序列如上图3所示，检测原理为，该序列为两秒彩条信号中有四秒黑场信号，彩条信号同时产生一秒音频信号，黑场时无音频信号。根据电视系统的实际情况，如果检测到相应的音频信号在相应的第四秒的黑场信号之前出现，那么就能判断音频信号有所超前，如果检测到相应的音频信号在相应第一秒黑场之后出现，那么音频是延迟了的。 当然，这种测试信号也有它的缺陷所在，就是如果音频信号超前或者滞后了两秒以上，那这种测试方法就失效了，但是我们可以先从主观方面去做测量，粗调后再用这种方法来做微调。幸运的是，基本上我们所使用过的系统都没有超过两秒以上的延时。如果没有信号发生器，那么如何进行视音频通道的同步调整？没有关系，我们可以提前将测试信号录制在支持音频输出的设备中，如录像机，EVS，硬盘播放工作站中，这样可以代替信号发生器发出测试校正信号。 在这里可以思维发散一下，我们不仅可以将录像机作为视音频同步信号的测试信号发生器，同时也可以作为例如通道信号质量测试、音频分轨确认、多格式画面播出字幕保护、视音频延迟主客观测试、上下变换等系列测试的测试信号发生器，在系统调试中发挥关键作用。如果我们既没有信号发生器，又没有信号监测设备，那么我们是不是就无法做视音频通路的延时调整了呢？这里我们可以考虑自己来制作校正信号。图4 自制同步测试信号1如上图4所示，我们可以在非线性编辑系统上制作26个字母的片段，每个字母用时一秒，然后对应字母帧的前沿人工配相应字母的声音，用这段测试信号就可以粗调系统的延时量，甚至感官较为灵敏的专业人士可以将延时精确在3帧以内。图5 自制同步测试信号2如上图5所示，我们再制作一段信号，将26个字母的读音更换为短促的千周音频测试信号，并且保证千周出现在字母变换的第一帧画面。通过这段信号我们可以校正同步误差在1秒之内的视音频同步问题。下面让我们来看看如何具体实施测试校正吧。我们将该测试信号1接入需要测量的系统，如视频信号进入帧同步机，音频信号送去一级调音台，然后将系统的最终输出信号接入一台录像机，如需测量嵌入信号延时则在录像机音频信号中选择录制嵌入音频信号，如果需要测试模拟信号则选择录制模拟音频信号。这样我们播放测试信号1，并且监看监听信号终端的录像机信号。如延时超过一秒，你会发现字母和读音完全不能吻合，这时我们可以实时调整系统内音频延时器来保证延时在1秒以内。接下来为了求得更高的同步精度，就不能实时地进行调整了，我们播放第二段测试画面，并且在终端录制，完成后，我们检查在终端录制的测试信号，这时候我们需要逐帧去做判断，我们先找到千周音频信号出现的第一帧，记下此时时码，然后逐帧搜索（根据第一个测试的结果判断是声音超前还是滞后，然后决定是向后还是向前搜索），找到字母变换的第一帧画面，此时时码减去前面时码就是系统的延时量，然后再次调整音频系统延时器，完成后再次重复测试信号延时，这种低成本声画同步信号校正就可以完成了（当然，这个测试仅仅能保证的精度是1帧，也就是40ms，如果分别校正后的系统级联，则不能保证视音频声画同步，需级联后全系统测试）。上面介绍了两种测试方法。其实，我们在条件极其困难下也可以完成视音频信号同步测试校正，如我们使用3G信号传输设备在野外进行拍摄任务时，由于仅有一台摄像机和3G传输设备，我们可以提前在台内使用mp4、手机等设备录制以上测试信号，执行野外任务时则用摄像机拍摄手机画面，同时用摄像机拾声设备收取手机声音，然后在台内接收端对该信号做视音频前端同步调整。再来讲一点经验，如果我们并没有把握完成对系统视音频信号的精确校正，那么我们在完成初步校正后，根据人们对音频滞后不敏感的特性，可以在音频信号上多加1帧延时，作为对后级声画同步的保护。最后我们来看看视音频信号同步校正的一些基本原则。1. 永远保证输出最末级信号的声画同步，如直播节目保证输出信号同步，录制节目保证录制设备信号同步，千万不要以常规性监听监看信号为主。2. 采取每一级都需要声画同步对齐的方式。前级信号应先自身对齐，后级对前级的信号输入进行调整对齐后，进入系统制作和播出。3. 根据信号流程和处理方式，在音频系统中不同部分应该加入与处理方式对应的延时处理，如监听，返送等。4. 最好配备具有高清和标清信号输入的CRT监视器 ， 高清信号接口用