（计算机应用技术专业论文）参考帧选择及相关技术研究.pdf

西南交通大学碳士研究生学俊论文第】页 摘要 视频缡鹚楚在傈嚣一定羹擒矮量瓣蘸鼹下，以尽簧少秘魄特数来表薤褫频 信恩。然而采用预测编码后的视频数据对传输中产生的误码非常敏感。随着不 可鼗痞道视频逶售豹广泛应毽，差爨控刳与楚盖技术逐瀵残为多媒镕磺究镶壤 姻个热点。交互式差镄控毒i 技术是一种褫频编解鹦器相互协作涞篇决视频传 输差错的技术。参考帧选择披术利用先前难确解礴的一帧作为势考，从而较簿 的实现了搦制熬错扩散鼬题的，并且卣于窃相对原理简单，讨弊复杂度小，对 跣姆率几乎没有什么影酾，无须太多解码蛸信患，无须修改编礴流谬法等诸多 霞点，霆魏褥到了广泛关注。本论文寝楚疆绕蓑参考犊逡择技零及蒸疆关技术 进彳亍了详细的研究和试验。 本文豹主要凌容毽錾： ( 1 ) 在弼率受限酌信道上实聪传徐视频数摄鬻要对视频缡码进辛亍流控， 本文根据视频编码码率控制的基本感想，针对h 2 6 l 标准目前没肖流控的缺点， 基予，v t 溅控算法对珏，2 6 l 括准热入濂控模块，实现了编码数掇流的平滑输嬲。 ( 2 ) 详纲分析参考帧逡择的两释模式：a c k 模式与n a c k 模式，并对 魄了两者瓣经髓与适矮场合，逐棱据阏终纛镨狡况撵爨了一穆禳式甥羧豹承籁。 以使得系统在任何差错环境下都能选到最健的差锚恢复效果，最后还分析了该 接术对编弼顿存控翻静彩旗 ( 3 ) 剥黑差错爨拣准确计算缡鹦姣撼错受“污染”宏块的思想，将差镄 跟踪技术与参考帧选择技术相结合，提高编码效率和藏错掩盖性能。 ( 4 ) 怼上述算法褒鼗一代援频编码振准h + 2 6 l 上实现，试验缡果表鳃， 参考帧选撵技术能够有效她隰止差错酌进步扩散，丈幅度提离因为差错丽恶 化的视频蕊蜇，糟信该技术将会在未来静褫频逶僚中膏着较好瓣巍嗣蓠景。 关键词：襁频缡鹞，参考顿谯撵，碣举控裁，差镑鼹黥，2 6 l 瑟霪墓婆查鲎毯主蟹塞兰堂堡造塞篓! ! 蒌 a b s t r a c t v i d e oc o d i n gi sat e c h n i q u eo f r e p r e s e n t i n gv i d e oi n f o r m a t i o nw i t ha sl i t t l e 勰 p o s s i b l eb i t st og u a r a n t e er e c o n s t r u c t e dp i c t u r eq u a l i t y h o w e v e 1 ；t h ec o m p r e s s e d v i d e oi ss e n s i t i v et ot h en e t w o r ke r r o rd u et ot h ep r e d i c t e dc o d i n g 。w h e nt h ei n t e r f l a m ec o d i n gi su s e di na ne r r o rp r o n en e t w o r k ，p r o b l e ma r i s en o to n l yo f g r e a t e r d e g r a d a t i o no f t h ee r r e dp i c t u r eq u a t i t yd u et ot h ee r r o r sb u ta l s oo f t e m p o r a la n d s p a t i a lp r o p a g a t i o no ft h ee f f e c t so ft h ee r r o r s t h et r u t ho fv i d e oe r r o rc o n t r o l t e c h n i q u e si st om a k et h eh u r to f t r a n s m i s s i o ne r r o r sl e a s tw h e n e v e ra n dw h e r e v e r t h et r a n s m i s s i o ne r r o r s h a p p e n e d i n t e r a c t i v ev i d e o e r r o rc o n t r o l t e c h n i q u e i s p r o p o s e d t or e m o v et r a n s m i s s i o ne r r o r s b yt r a n s m i t t e , r a n dr e c e i v e r s w o r k i n g t o g e t h e r r e f e r e n c ep i c t u r es e l e c t i o n r e s t r i c tt h ee n c o d e rt h ec o r r e c t 玲d e c o d e d p i c t u r ea st h er e f e r e n c ep i c t u r ea c c o r d i n gt o t h eb a c k w a r dc h a n n e l s i g n a l i n gt o p r e v e n t t h et e m p o r a le r r o rp r o p a g a t i o n 。 t h et h e s i si sm a i n l yc o n c e r n e da b o u t ： ( 1 ) r a t ec o n t r o l p l a y s av e r y i m p o r t a n tr o l e 激c o n s t a n t b i tr a t e ( c b r ) c o d i n g t nt h i sp a p e r , r a t ec o n t r o lm o d u l e 摭i n t r o d u c e di nt h eh 。2 6 lv i d e oc o d i n gs t a n d a r d b a s e do nt h ei d e ao fr a t ec o n t r o la b o u tv i d e oc o d i n gt os m o o t ho u t p u to f e n c o d i n g d 戤as t r e a m 。 1 时，也即p 帧间插入不只一个b 帧时。 6 j ，：q 只+ 口+ m a x m i n ( q p 2 - q p i ) ( i - i ) ，2 ( i 1 ) ) ，一1 ( i 1 ) ( 3 8 ) 口取值如下： 一3 q p 2 0 p 1 - 2 l 一3 2o p 2 0 p 1 = - 2 l 一2 1 q 芝一q 8 。2 三一1 ( 3 - 9 、 0 q p 2 一d p i = - 2 l 1 0 p 2 0 1 = - 2 l + 1 2其它情形 话南交通大学硕士研究生学位论文第2 3 页 最后量化参数q 曰。还需做如下调整 q b ，= m i n m a x q b f ，1 ) ，5 1 ) ( 3 - l o ) ( 2 ) p 帧量化参数 步骤1 ，帧级分配目标缓存。 该步骤为每个p 帧预先确定目标缓存，目标缓存函数用于计算p 帧的目 标码率。g o p 中第一个p 帧的量化参数通过g o p 级流控就已经给出，我们 只需要预先确定其余p 帧的目标缓存。 对g o p 中第一个p 帧编码后，目标缓存初始化为： t b l ( n ) = 坑( n f 2 ) ( 3 1 1 ) b 。( n 。) 表示对第个p 帧编码后的缓存占用。第j + 1 个p 帧的目标缓存定 义如下： 她小护她。一半+ 篇黑；一掣 ( 3 1 2 ) 在上式中，聊( n 。) 表示p 帧平均复杂度权重，件毋( ”) 表示b 帧平均复杂度 权重。t b l 表示目标缓存。既和计算如下： 嘶沪掣+ 掣 呱妒掣+ 掣 ( n 。) = s p ( n “) q p ( ”) ( 3 1 5 ) 啉户掣 ( 3 _ 1 6 ) s ，和咒分别表示相应类型帧的编码输出位数，q ，和q 表示对应量化参数 西南交通大学硕士研究生学位论文第2 4 页 和表示当前p 、b 帧的权重。 当p 帧间没有插入b 帧时，上式可以简化为 t b l ( n ，+ 1 ) = t b l ( n f ) 型虹! 二垦竺 ( 3 1 7 ) n p 一1 很容易看出，t b l ( n 。) 值大约等于b 。8 。因此，如果真实的缓存占用与预 先确定的目标缓存相等时，意味着每个g o p 使用它自己的缓存配额。然而， 由于率失真模型和线性m a d 预测模型并不是很精确。真实的缓存与目标缓 存往往存在差值。我们因此需要计算p 帧的目标码率来降低这个差值。 步骤2 ，目标码率计算。 采用模型( 3 2 ) 和线性跟踪理论，p 帧的目标位数取决于目标缓存、帧 率、可获得的带宽、帧存占用： 旭沪竺掣吖( r b 坳“) - b c 力) ( 3 - 1 8 ) y 是常数，当不插入b 帧时取值o 7 5 ，否则取值o 2 5 。i 司时，在计算目标位 数时应当考虑缓存配额剩余的位： 氘沪丽丽等熬再i 将两者加权得到目标位数： f ( n f ) = f l f ( n f ) + ( 1 一f 1 ) f ( n f j ) ( 3 _ 2 0 ) 口为常数，当没有插入b 帧时取值0 5 ，否则取值0 9 。 为了维持编码质量，对f ( n 。) 限制如f f ( n i , 3 ) _ m a x 帆a 蚶川) + 号竽) ( 3 2 1 ) m 。( n 。一。) 表示先前帧中用于表示头信息和运动向量的位数。 步骤3 ，计算当前帧的量化参数和对每个宏块进行率失真优化编码。 两南交滋大学硕士研究生学位论文第2 5 页 当藩喷的m a d 篷逶避模墅( 3 1 ) 颥测，稳应静鬣纯参数q 。采藤二次 模毽计算，为了使得连续帧豹褫觉质黛平滑，隧制q 。： q = m i n q ”十2 ，m a x q 一2 ，q ( 3 2 2 ) 酝，表示先前p 帧盼鬃亿参数，黼时，它也应当鞭截蔽围： q ”= r a i n m a x 竣w ，l ，5 1 ( 3 - 2 3 ) 然后此羹他参数翔予对帧中每个宏块进行率失真编确。 f 3 步骤3 ，编褥一帧结束调整参数。 遴个除段霄三个工作霞簧完成： 更新模型( 3 一1 ) 的参数a l 靼a 2 。 更叛二次翠失真模溅的参数。 决定怒秀嚣黉跳羧，激及蕊梭数。 3 。3h 2 6 l 流控试验 本毒仓文在h ，2 6 l 上实蕊了j v 誓流羧熬滚。分聚怼s u z i e 、f o r e m a n 渗翻密 1 1 2 k b p s ，l o 每s 条件下遴行戳率控制，圈3 - 3 给出了热入码率控制模块麓s u z i e 、 f o r e m a n 序列的码率变化情况，袭3 - 1 绘出最终e e 特翠。 圈3 - 3s u z i e 、f o r e m a n 序弼在1 1 2 k b p s 、l o f p s 下鹃率变化 西南交通大学硕士研究生学位论文第2 6 页 表3 - 1 实际编码结果( 目标比特率：1 1 2 k b p s ) 序列 s u z i ef o r e m a n 比特率( k b p s ) l l l7 7 ll t 2 l7 8 试验结果表明：在h 2 6 l 中采用j v t 流控算法后，有效地实现了码率控 制，输出码率变化较为平缓，为编码位流的实时传输奠定了基础。 西南交通大学硕士研究生学位论文第2 7 页 第4 章参考帧选择技术 为了获得高的编码效率，帧间编码模式是最理想的。它充分利用图像的 时域相关性，利用重建帧对下一帧进行预测，仅传输其中的差值。然而一帧 数据的丢失对随后帧的图像质量有显著影响，导致编码视频数据对差错极为 敏感。参考帧选择( r _ p s ：r e f e r e n c ep i c t u r es e l e c t i o n ) 技术是编码器根据解 码器端的反馈信号从先前编码帧中选择已经被正确解码的图像帧来作为参考 4 4 - 4 9 。它把差错限制在最小的范围，有效地抑制了差错的时域扩散。解码器 端利用反向信道向编码器端表明视频数据中哪一部分被正确接收到，或哪一 部分没有接收到。根据掩盖控制方法分别传送确认( a c k ：a c k n o w l e d g e m e n t ) 信号或非确认( n a c k ：n e g a t i v ea c k n o w l e d g e m e n t ) 信号，对应两种参考帧 模式：a c k 模式和n a c k 模式。 本章首先介绍参考帧选择的几种模式，并给出其试验数据。最后对各种 模式的性能进行对比以及分析编解码器端所需帧存。 4 1a c k 模式 当系统采用a c k 模式时，参考帧按照a c k 信号进行切换。每当解码器 正确接收到一帻数据，就利用反向信道向编码器端反馈a c k 信号。编码器 在对一帧数据进行编码时，仅采用已经接收到a c k 信号的帧作为参考。如 图4 1 ， 在对帧1 、2 进行编码时，由于系统往返延迟( 假设为3 帧) ，没有收 到前面帧的确认信号，故它们都将第0 帧i 帧作为参考； 在对帧3 、4 、6 、7 、8 进行编码时，编码器接收到标识先前帧无差错 的a c k 信号，依次参考收到a c k 信号最近的一帧； 对帧5 进行编码时，由于帧2 发生错误，解码器不回传a c k 信号， 编码器不调整帧存，根据帧1 进行预测。帧9 情况类似，以帧5 作为参考帧。 西南交通大学磷士研究生学像论文繁2 8 页 鎏4 - t 采惩a c k 模式下瓣参考枣蠹迷耩零意图 由予编码器采用藏确解码的帧做为参考，故当差错发生时，仪影响本帧 静数据，随磺的编蕊赣参考先前秃诺的赣，因魏黻露了差错鹩时域扩散，蠢 效遮保谖了瓣璐囊量。 图4 。2 给出了s u z i e 序列在某个5 蒜包率序列下，解码端的倍躁比变化 清况。觚胬中可鼓看穗警发生差错时，该犊蓓躁繇急鞠下降，毽蕊由于编弱 嚣始终参考委凌簿码的羧，差错在黯域上不发生扩教。该差锩澎剿犊6 9 、7 l 、 7 4 均发缴丢觎，且该处运动较为剧烈。 图4 - 2s u z i e 序列p s n r 对比 e rf r e e ：无键e c _ o n l y ；歉试掩盖i r ：i 梭受耩a c k 栗嚣la c k 摸式 表毒+ 1 绘爨了1 5 0 犊露豫豹乎甥情鼹魄。试骏结慕表鞠a c k 搂式能蠢羧 抑制差错扩散。 西南交通大学硕士研究生学位论文 第2 9 页 表4 - 1s u z i e 序列平均p s n r 对比 l 掩盖方法e rf r e ee co n l yi ra c k p s n r d b 4 3 0 7 2 87 53 6 1 83 9 9 6 图4 - 3 给出了应用a c k 技术后s u z i e 序麴7 1 7 5 帧解码图像。从图中我 们可以清晰看出第7 1 帧、7 4 帧解码图像有较大失真，而随后的一帧差错恢 复效果都较好。 第7 1 帧第7 2 帧第7 3 帧 第7 4 帧第7 5 帧 图4 3s u z i e 序列解码效果 由于编码器必须采用经过往返延迟而得到的a c k 信号确认的帧作为参 考，而不是采用紧邻的重建帧作为参考，所以编码质量会有所降低，即使在 没有传输错误时也如此。图4 4 给出了无错条件下s u z i e 序列a c k 模式编码 质量对比，平均下降了2 d b 。但是发生差错的随后帧能够正确解码，图像质 量不会有明显的衰减。当反向信道发生错误时，编码器收不到a c k 信号， 它认为是前向信道传输出错，结果是解码器能正确解码。 图4 4 a c k 模式下编码质量比较 嚣囊交暹大学矮士疆究生学位论文 繁3 0 夏 4 2n a c k 模式 当系统袋援n a c k 摸式萎寸，每当躲玛器没毒正确接竣副一犊数据便囱编 鸦器反馈n a c k 信号。编鹚器牧簧n a c k 信号就知道对应帧数撵传输出错， 紧邻的先前帧没有被正确解码而不能用作参考，需骤回溯至先前融经被正确 瓣码的帧来对当前帧进行预测。如图4 5 所示，帧2 发生错误，解码器向编 弱器反镶n a e k 信号，蘸3 园子参考了梭2 蘑撵无法_ 蠹三确簿弱，滋会国黄表 明帧3 错误的n a c k 信号，帧4 同样念反馈n a c k 倍号，当编码器在对第5 帧编码时收到帧2 的n a c k 信号后，调整帧存，采用正确解码的帧1 作为参 考。瓣羁器囊到正臻接收梭5 熬缤玛数攥嚣才恢复旋鬻。露撵遂壤，辕9 故 到帧6 的反馈信号，会以顿5 作秀参考帧进行编码。 图4 5 采用n a c k 模式下的参考帧选择示意图 翔采爱囊毽遂转输n a e k 莹号凄罐，编玛器继续采翅毙嚣蜮终为参考， 解码器由予凭法正确解码丽持续发出帧3 错误的n a c k 信号。这样会导致差 错恢复的时间延长，引起熙严重的图像质量衰减。 圈4 6 绘感对上述菱镄彦裂进行淑c k 掩盖惹懿瓣鹤信躁毙变纯。由予 编码器尽可能参考前一帧进行编码，所以当发生差错时，由予往邋延迟的存 在，在此周期内的所有帧都不能正确解码，图像质凝不能得到迅滤恢复。由 予该差错序列第6 8 、6 9 、7 l 、7 4 帧均发生了丢包，间时由于该处人物头部运 动较为尉烈，差错对域扩数，繇爨该楚键藿醛遥鹜像豢量严重下降。 西南交通大学硕士研究生学位论文第3 l 页 图4 - 6s u z i e 序列信躁比对比 表4 2 给出1 5 0 帧图像的平均信躁比。 表4 - 2 平均信躁比对比 i 掩盖方法 e rf r e e e c _ o n l y i rn a c k p s n r d b 4 3 0 72 87 53 6 ，l84 0 1 0 图4 7 给出解码图像序列片断。由于帧7 l 、7 4 发生差错，解码端在时域 上存在差错扩散，帧7 1 至帧7 6 图像质量受损严重，帧7 7 收到前面的n a c k 信号而参考前面正确解码的帧，图像质量得以恢复。 第7 1 帧第7 2 帧第7 3 帧 第7 4 帧第7 5 帧 第7 6 帧 第7 7 帧 图4 7s u z i e 序列解码效果 西南交通大学硕士研究生学位论文第3 2 页 4 3s w i t c h 模式 前面已经表明，当差错发生后采用a c k 模式时能够迅速抑制差错扩散， 图像质量衰减较小，但是编码效率不如传统方法，即使是在没有出错的情况 下也有损失。而n a c k 模式虽然在无错时编码效率不会降低，但是发生差错 后不能立即恢复到无错状态，图像质量的衰减更为严重。f u k u n a g a 等人提出 了根据传输信道误码情况进行自适应的模式切换，理想情况是：当误码率高 时采用a c k 模式，而当网络环境较好时切换至n a c k 模式。切换规则如下： 如果差错连续发生n 次( 收到n a c k 信号) ，系统切换至a c k 模式( 一 般n 取值为l ，使系统立即切换至一a c k 模式选择正确解码帧作为参考以限 制差错扩散) 。 如果连续m 帧都没有发生差错( 收到a c k 信号) ，则系统切换回 n a c k 模式( 通常m 值设置较大，以便确认无错才进行切换) 。 图4 8 给出了( n ，m ) 取值( 1 ，3 ) 时的模式切换示意图。系统最初采 用n a c k 模式进行高效率编码，在编码第5 帧时收到帧2 的n a c k 信号， 自动切换到a c k 模式以帧l 作为参考进行编码。在对帧1 0 编码时，系统连 续接收到3 个a c k 信号，认为网络环境恢复正常，切换到n a c k 模式又利 用紧邻的先前帧进行高效编码。 图4 - 8 采用s w i t c h 模式下的参考帧选择示意图 图4 - 9 给出了( n ，m ) 分别取值( 1 ，3 ) 和( 1 ，5 ) 时的信躁比对比， 西南交通大学硕士研究生学位论文第3 3 页 可以发现采用s w i t c h 模式后，解码恢复效果介于a c k 、n a c k 模式之间， 既能限制差错在时域的扩散，也考虑了编码效率。表4 3 给出平均信躁比对 比 图4 9s u z i e 序列信躁比对比 表4 3 给出采用两种参数下1 5 0 帧图像的平均信躁比。结果发现( n ，m ) 参数采用( 1 ，3 ) 优于取值( 1 ，5 ) ，这时因为s w ( 1 ，3 ) 更多地采用了 n a c k 模式，编码效率提高占了主导因素。 表4 - 3 平均信躁比对比 l 掩盖方法e rf r s w ( 1 ，3 )s w ( 1 ，5 ) lp s n r d b 】 4 3 0 73 9 9 53 9 7 3 由于系统固有的往返延时，模式切换时间要比实际情况晚一些，某些 g o b 因缺少参考帧而可能无法解码，但系统在跟随差错状况而变换的总体性 能仍然较为令人满意，特别是当系统延时较小时尤为突出。当然，该方法仍 然有许多参数有待进一步优化，既应当考虑信道统计情况，也应当结台信息 传输的内容。 4 4 各种模式性能对比及试验结果分析 在参考帧选择的三种模式下，编码帧与参考帧之间的时域相关性差别很 大。而编码帧与参考帧之间的时域相关性以及视频图像本身的信息决定了编 西南交通大学硕士研究生学位论文第3 4 页 码失真，并且不同的参考帧选择方法对差错掩盖的效果有较大影响。下面分 别从编码器端的编码效率以及解码器端最终得到的掩盖效果来对三种模式的 差错掩盖性能进行对比分析。 4 4 1 编码质量对比 参考帧选择技术根据反馈信号的不同划分为三种模式，a c k 模式总是以 先前正确解码的帧作为参考，由于编解码器端往返延迟的存在，导致在对视 频流进行编码时，不能以紧邻的先前帧作为参考。随着往返延迟的增大，编 码帧与参考帧之间的间隔增大，这导致了视频信息时域相关性急剧下降，编 码效率大幅度下降。而n a c k 模式只有当接收到n a c k 信号时才回溯到先前 无错帧进行参考，故编码效率较高，而s w i t c h 模式兼顾二者的特点，在两者 之间切换，当( n ，m ) 值中m 取值较小时，系统更多采用n a c k 模式，而 m 较大时，只有连续收到多个a c k 信号，系统才切换回n a c k 模式。图4 1 0 、 4 1 1 分别给出了s u z i e 、f o r e m a n 序列在5 、2 0 丢包率下的编码效率下降对 比试验结果，表4 _ 4 给出了1 5 0 帧的平均信躁比对比结果。 ( a ) ( b ) 。 图4 1 0s u z i e 序列在5 、2 0 丢包率下各模式编码效率对比 西南交通大学硕士研究生学位论文第3 5 页 ( a ) ( b ) 图4 1 1f o r e m a n 序列在5 、2 0 丢包率下各模式编码效率对比 表4 - 4 编码器端平均信躁比对比 序列丢包率 e rf r e ea c kn a c k s w ( i ，3 )s w o ，5 ) s u z i e5 4 30 74 0 8 74 2 6 6 4 16 84 1 5 0 s u z i e2 0 4 3 0 74 03 8 4 1 9 04 0 4 84 0 4 0 f o r e m5 3 9 7 03 7 9 13 93 93 8 6 93 85 4 f o r e m2 0 3 9 7 03 75 43 88 43 7 6 43 75 8 试验结果表明：a c k 模式编码效率有明显下降，s u z i e 序列在5 丢包率 下，编码效率下降2 2 d b ，f o r e m a n 序列下降1 7 9 d b ，随着丢包率的增大，编 码效率进一步下降，在2 0 丢包率下，s u z i e 、f o r e m a n 序列分别下降2 6 9 d b 、 2 1 6 d b 。n a c k 模式下降幅度较小，大致位于o 5 d b 1 2 d b 之间，而s w i t c h 西南交通大学硕士研究生学位论文第3 6 页 模式介于两者之间。 4 4 2 差错掩盖性能对比 当差错发生时，由于a c k 模式始终是参考先前确定正确解码的帧，所以 差错被限制在丢包的一帧内，不会发生差错的时域扩散。而n a c k 模式参考 先前可能正确解码的帧，所以会发生扩散，如果接收到n a c k 信号的一帧又 发生数据丢失，可能会导致图像质量持续衰减，引起图像严重受损。s w i t c h 模式平衡编码效率与差错掩盖恢复效果，对各种差错率都能得到较好的效果。 图4 1 2 、4 1 3 给出了s u z i e 、f o r e m a n 序列在5 、2 0 丢包率下解码器端信躁 比对比，表4 ，5 给出了1 5 0 帧图像的平均信躁比。 ( a ) 西南交通大学硕士研究生学位论文第3 7 页 图4 1 2s u z i e 序列在s 、2 0 丢包率下差错掩盖效果对比 ( a ) ( b ) 图4 1 3f o r e m a n 序列在5 、2 0 丢包率下差错掩盖效果对比 表4 5 各模式下解码平均信躁比对比 序列一丢包率 e rf r e e e c _ o n l y i ra c kn a c k s w o ，3 )s w o ，5 ) s u z i e5 4 3 0 72 9 1 33 6 7 43 9 9 94 0 6 54 0 1 04 0 0 7 s u z i e2 慨4 3 0 72 45 5 0 92 9 6 5 2 53 73 0 0 73 6 0 1 4 93 7 0 3 4 73 7 2 3 5 4 f o r e m5 3 9 7 02 72 2 0 33 2 4 9 4 33 68 7 7 83 7 0 6 3 63 68 1 4 33 6 8 7 9 2 f o r e m2 0 3 9 7 02 0 9 7 0 52 4 7 8 8 13 37 6 63 1 9 6 93 34 9 9 43 3 7 2 0 2 试验结果表明，三种参考帧选择模式有效地进行了差错掩盖。在差错率 较低的情形，n a c k 模式更加有效，s w i t c h 模式中( n ，m ) n 取值较小时 因为更快地切换到n a c k 模式，相比n 取值5 时更加有效。而当差错发生严 西南交通大学硕士研究生学位论文第3 8 页 重时，a c k 模式更加有效，s w i t c h 模式n 取较大值，系统更多地采用a c k 模式，有效抑制差错时域扩散，相比更加有效。 4 5 各种模式下的帧存分析 4 5 1h 2 6 l 帧存控制 h 2 6 l 标准对于帧间预测的一个较大改进就是采用了多参考帧预测模式， 就是相对于以前的编码标准只将前面紧靠当前编码帧的图像作为参考帧而 言，h 2 6 l 允许图像在编码器从前面多至5 帧图像中进行预测和补偿编码。 该模式的引入不但使得编码效率在只用一个参考帧的基础上进一步提高，而 且能够实现更好的码流误码恢复，但该模式的使用需要增加额外的延时和存 储容量。使用5 个参考帧预测与只使用一个参考帧相比，能节省大约1 5 的 码率数据 2 m ，多参考帧算法的加入对于提高编码效率很有帮助。 图4 1 4 多帧参考关系示意图 在对帧问帧只进行编码时，需要从先前”( 参考帧数，图4 1 4 为2 ) 帧 只只：只一。中搜索运动向量进行运动补偿，由于还需保存当前帧的重 建数据，因此必须在编码器端建立至少n + 1 帧的帧存，保存先前n 帧参考帧 和当前帧的重建数据。注意由于h 2 6 l 支持运动搜索精度为1 4 和1 8 像素， 所以在帧存中存储的是1 4 像素精度的重建数据( 1 8 精度在运动搜索时临时 插值产生，不保存于帧存中) 。 西南交通大学硕士研究生学位论文第3 9 页 上上土土土l 4 l 一与l 一与l 一4 l 刻与l 刊4 l 一 圆圆4 团，团与固4 园一 4 团4 团与匿4 臣与囡 图4 1 5h 2 6 l 帧存调整示意图 h 2 6 l 帧存控制过程： ( 1 ) 开辟帧存，指针数组p 3 指向三个帧存保存的重建数据( 其中p 。指向 当前帧存，p 。指向紧邻的先前一帧，p ：指向再之前的一帧) 。 ( 2 ) 编码i 、p 帧，。( 或只) 时调整帧存。调整前，p 。指向帧存p k - t ，p 。 指向帧存p 一，p ：指向帧存p “，对指针数组进行前向循环，p 。指向帧存 p ，p ：指向帧存p 一，然后让p 。来保存当前帧的重建数据。卑帧参考p 。、 p ：所指向的重建帧进行运动补偿，。为帧内编码。注意，此仅进行了帧存指 针的修改，并没有对大量的帧存数据进行移动，加快了编码速度。 ( 3 ) 由于b 帧不用作参考帧，b 帧编码时不调整帧存。 4 5 2a c k 模式下帧存分析 设多帧参考的参考帻数为疗，a c k 模式下编码器对帧最进行编码时，以 先前正确解码的只、只只作为参考进行编码，由于还需保存本帧重建数 据，所以帧存大小为n + 1 。但是交互式差错控制中，解码器的反馈信息到达 编码器是要经过定延迟的，这种延迟的时间主要表现为信息在信道中来回 传送所占用的时间，称之为往返时延。通常往返时延都以这期间编码器所编 码的帧数来计量，比如说往返延迟为d ，即是说当编码器编完第k 帧时，它 才接受到第k d 1 帧的反馈信息，编码器这时就可以知道第k d l 帧或者 西南交通大学硕士研究生学位论文 第4 0 页 是第k d 一1 帧之前的帧中各个宏块是否被正确地解码。由于当前并不知道往 返延迟周期内的d 帧( 第k d ，k d + 1 k 一1 帧) 是否出错，它们也需保 存于编码器帧存中，所以编码器帧存大小为n + d + 1 。而解码器端则只需保存 无错的n 帧以及当前帧，所以其帧存大小为n + 1 。 图4 1 6a c k 模式下帧存示意图 由于h 2 6 l 程序在帧存控制中是保存先前连续的若干帧，所以需要在代 码中将已确定发生差错的重建帧从帧存中删除，使得帧存中除了当前帧外， 仅保留正确解码的，l 帧和往返延迟周期内的d 帧重建数据。解码器端帧存控 制就更为简化，仅保存无错的 l 帧作为恢复数据即可。 4 5 3n a c k 模式下帧存分析 由于n a c k 模式参考的是可能无错的帧，因此在没收到n a c k 信号时， 编码器参考紧邻的先前h 帧，当接收到反馈信道的n a c k 信号时，编码器回 溯参考无错的n 帧，因此在未收到n a c k 情形下，也需保存无错的n 帧，因 此帧存大小为n + d + 1 。 西南交通大学硕士研究生学位论文第4 1 页 图4 1 7n a c k 模式下帧存示意图 在n a c k 模式下，如果反馈信道n a c k 信号丢失，编码器只能根据随后 的n a c k 信号来探测差错的发生。从编码器端来看，没有反馈n a c k 信号 的帧也不一定正确，不知道要回溯多少帧才能得到正确解码帧作为参考，此 时帧存控制将变得复杂。但可以采用其它方法确定一个解码器正确解码帧， 当n a c k 信号出错时，即使多帧参考也仅参考此无错帧一帧进行运动补偿预 测。通常我们也会采用一些措施来保证反馈信号的无错传输。 4 5 4s w i t c h 模式下帧存分析 s w i s h 模式平衡n a c k 和a c k 模式的编码效率和差错恢复性能，对于 帧存需求可参考前面，编码器端帧存大小为月+ d + 1 ，解码器端为n + l 。 总之，在应用r p s 技术后，编码器端帧存会增加，同时需要根据反馈信 号动态将没有正确解码帧的帧存数据移出。出于简化程序的考虑也可以仅标 志帧存中数据的合法性，让系统自动调整帧存，但在一些极端情况下需求的 帧存量可能非常大。 4 6 基于i s d 技术下的参考帧选择技术 独立分片( i s d ：1 1 1 d 印c n d e n ts e g m e n td e c o d i n g ) 技术是指将图像划分成 若干个独立的子图像，例如，按照g o b 进行划分，c n 图像被划分为9 个独 立子图，每个子图包含一行宏块。在编码时各子图独立编码，不依赖于别的 子图。图4 1 8 给出了i s d 技术下运动搜索示意图，在对帧月宏块k 进行编码 时，搜索参考帧n 1 相同位置子图，如果参照块部分超出子图，则需对子图 边界进行插值。 西南交通大学硕士研究生学位论文第4 2 页 图4 1 8 i s d 编码示意图 当其中某个子图发生错误时，由于相邻子图没有参考，差错被限制在同 一位置的子图序列中，而相邻的子图不会发生差错，这样就有效地避免了差 错在空间的扩散。但是当宏块或子块的运动向量指向子图外时，必须进行边 界插值，当子图划分较小时，会引起编码效率的大幅下降。并且在h 2 6 l t m 9 中，仅支持整帧图像的的边界插值，我们考虑在不修改任何编码语法的条件 下进行参考帧选择，故在本论文中没有考虑i s d 技术。 4 7 小结 本章介绍了基于反馈信道的差错掩盖技术参考帧选择。首先详细介 绍了参考帧选择的三种模式，然后对比分析各种模式的编码效率和差错掩盖 效果。最后分析了应用r p s 后对编、解码器帧存的影响阻及如何将独立分片 技术与参考帧选择相结合。试验表明参考帧选择技术能够有效地阻止这种差 错的进一步扩散，大幅度提高因为差错而恶化的视频质量，而且完全兼容于 h 2 6 l 标准语法。相信该技术将会在未来的视频通信中有着较好的应用前景。 西南交通大学硕士研究生学位论文第4 3 页 第5 章基于差错跟踪的参考帧选择 参考帧选择的思想是基于正确解码的帧作为参考，参考帧选择技术虽然 解决了差错扩散问题，但由于差错发生和往返延迟的增大使得参考帧与编码 帧之间的时域相关性下降，从而导致编码效率急剧下降。而当一帧的部分数 据发生差错时，我们可以利用其中正确解码的部分来进行参考以提高编码效 豪。如下图5 - 1 所示，当第2 帧发生错误时，差错扩散到第4 帧，由于采用 了n a c k 模式进行参考帧选择，帧只参考最进行运动补偿，而实际上只仅 差错区域不能进行预测，无错宏块可以用于参考。只帧部分宏块可以参考只， 从而提高了编码效率。本章将基于差错跟踪的思想实现参考帧选择，最后给 出试验结果。 编码器 解码器 5 1 差错跟踪技术 图5 - 1 差错扩散 差错跟踪技术同样是一种基于反馈的交互式差错控制技术，该思想最早 由德国科学家e s t e i n b a c h ，f a r b e r 等人提出【5 0 】。它基于如下思想：根据从解 码器端反馈的信息，获知某帧部分数据出错，由于视频编码应用了运动补偿 西南交通大学硕士研究生学位论文第4 4 页 等技术，所以差错在时域和空域进行扩散，现在我们根据先前编码帧的运动 向量计算出错区域扩散而污染的宏块，在对当前帧编码时对这些宏块进行帧 内编码就可以了。它不会造成数据摄的急剧增加，理论上也可以做到完全中 止差错的扩散。这种方法就是差错跟踪技术。 差错跟踪技术的实现可以有两种思路，一种叫反向差错跟踪f 5 ”，一种叫 正向差错跟踪。它们都需要编码器将一定帧数的运动向量保存下来。假设编 码器正在编第n + d + 1 帧时收到来自解码器端表明第帧数据有错误的消息， 该消息也指明了差错位于哪些宏块。反向差错跟踪沿着时间轴反方向跟踪， 判断宏块每个像素是否是由受损区域预测而来，如果该像素在解码器被解码 时是用出错宏块预测而来的，则标志该宏块受到“污染”；正向差错跟踪依照 由于运动估计和补偿造成的差错扩散规律，从第n 帧的出错宏块m 开始，在 时间轴上向前跟踪这种错误的扩散情况直到当前第n + d + 1 帧确定出那些宏 块受到差错的“污染”。最后对受“污染”的宏块进行帧内编码，从而达到了 差错恢复和阻断差错进一步扩散的目的。 图5 2 差错跟踪示意图 本论文采用正向差错跟踪技术，实现过程的具体算法如下： ( 1 ) 对帧n 进行编码时，编码器根据收到的反馈信号知道第n d 一1 帧m 宏块出错。 ( 2 ) 如果第h d 一1 帧m 宏块为帧内编码，则跳转到第4 步。 ( 3 ) 利用第n d 帧保存的运动向量计算因为参考差错区域而使”一d 帧中 受“污染”的宏块。然后计算下一帧受“污染”宏块，直到计算出第n 帧中 全部受“污染”宏块。 ( 4 ) 对第n 帧中受“污染”宏块进行帧内编码。 我们利用差错跟踪思想可以计算得到差错扩散的区域，对差错进行了精 确的定位，而参考帧选择思想就是参考先前正确解码的帧。将二者结合，编 西南交通大学硕士研究生学位论文第4 5 页 码时选择正确解码的区域进行编码，能有效地提高编码效率。 5 2 基于e t 的a c k 模式 a c k 模式编码时以收到确认信号正确解码的帧作为参考在此我们同时 反馈n a c k 信号，其中包含了差错宏块信息，当我们在某帧进行运动补偿编 码时，不再将该反馈帧完全丢弃，其中正确解码的区域也可作为编码宏块的 参考。如下图5 - 3 ，对帧只进行编码时，已获知帧只片层2 和帧岛片层1 出 错，但是编码时并不将此两帧从帧存中丢弃，对帧只某宏块进行运动搜索时， 如果参考区域位于出错片层内， 丽无菠- 继续搜索，由于时域相关性的 增强，编码效率相比传统a c k 模式有了较大提高。表5 ，1 给出了采用差错跟 踪技术后编码效率的比较结果，表5 - 2 给出了解码端差错掩盖效果。 i dp ip 2 一一 5 v 图5 - 3 基于e t 的a c k 模式运动补偿 表5 1 基于e t 的a c k 模式编码效率对比 序列丢包率 a c ke ta c k 差值 $ u z i e5 4 08 74 0 9 40 0 7 s u z i c2 0 4 03 84 0 6 9o 2 1 f o r e m a n5 3 7 9 l3 79 90 0 8 f o r e m a n2 0 3 7 5 43 78 lo 2 7 表5 - 2 基于e t 的a c k 模式解码对比 序列丢包率a c k e ta c k差值 s u z i e5 3 9 9 94 0 0 5o ，0 6 s u z j e2 0 3 7 + 3 03 7 5 3 o 2 3 f o r e m a n5 3 6 8 83 6 9 50 0 7 f o r e m a n2 0 3 3 7 73 39 9o2 2 西南交通大学硕士研究生学位论文第4 6 页 试验结果表明采用差错跟踪思想后的a c k 模式无论是编码效率还是解 码掩盖效果都有了一定程度的提高。 5 3 基于e t 的n a c k 模式 n a c k 模式以紧邻的先前帧作为参考，当收到表示解码端发生差错的 n a c k 信号后，编码器回溯至先前无错的帧柞为参考。基于差错跟踪的参考 帧选择技术利用保存的运动向量，跟踪到差错扩散而“污染”的宏块，然后 把这些宏骋从参考区域中丢弃。如图5 4 表明了基于e t 的运动补偿示意，在 对帧忍进行编码时，接收到了标识帧最片层l 发生差错的n a c k 信号，编 码器端暂停编码，根据存储的最、只、只帧各宏块的运动矢量，计算出因该 片层丢失而“污染”的宏块，计算直至帧只，这样在对帧只编码时，不完全 丢弃帧只的重建数据，只有当运动搜索的参考块位于受损区域时，才继续搜 索下一位置。由于即使出错时也部分参考了紧邻前一帧的无错区域，所以时 域相关性增加而使得编码效率提高。表5 - 3 给出了采用差错跟踪技术后编码 器端编码效率的比较结果，表5 - 4 给出了解码端差错掩盖效果。 i op tp 2p 3p 4p 5 m v 图5 4 基于e t 的n a c k 模式运动补偿示意 表5 3 基于e t 的n a c k 模式编码效率对比 序列丢包率a c ke ta c k差值 s u z i e5 4 2 6 64 2 8 50 1 9 s u z i e2 0 4 l9 04 2 1 90 2 9 f o r e m a n5 3 9 3 93 9 5 40 。1 5 f o r e m a n2 0 3 8 8 43 9 0 70 2 3 西南交通大学硕士研究生学位论文第4 7 页 表5 4 基于e t 的n a c k 模式差错掩盖对比 序列丢包率 a c ke ta c k差值 s u z i e5 4 0 6 54 07 501 0 s u z i e2 3 60 13 62 302 2 f o i n g r n a n5 3 7 0 63 7 2 20 1 6 f o r e m a n2 0 3 1 9 73 2 2 502 8 试验结果表明，基于差错跟踪技术后的n a c k 模式由于时域相关性的增 强，编码效率和差错掩盖效果都有了较大程度的提高。但是在n a c k 模式下 引入差错跟踪技术，差错发生后，如果在往返延迟周期内又发生了丢包，可 能导致差错的扩散。如上图5 - 4 ，在对帧只编码时，收到帧最反馈的n a c k 信号，在传统的n a c k 模式下，帧只以帧只作为参考帧进行预测编码。但 引入差错跟踪后，帧只中宏块会参考只帧无错区域进行运动搜索，这样如果 此延迟周期内帧只、只发生了丢包，则差错会扩散至帧只。图5 5 给出了在 2 0 丢包率下s u z i e 、f o r e m a n 序列基于e t 的n a c k 模式相比传统方式的信 噪比提高。从图中可以看出，部分位置应用差错跟踪后相比传统模式反而有 所下降。