（信号与信息处理专业论文）基于人体视觉系统的视频“重帧”和“跳帧”研究.pdf

摘要 摘要 对于数字压缩视频，视频流在有损通信信道上的传输可能导致一定程度的 失真，这是由于视频信息的丢失。这种信息丢失的视觉影响决定于解码器处理 丢失数据的能力。一些解码器选择完全丢弃整个发生错误的视频帧，并且重复 上一个正确的视频帧直到接收到下一个完整视频帧。 视频图像中的不连续情况，如图像停止和图像丢失，是在i n t e r n e t 和移动通 信网络中视频传输过程的常见的时序性的视频损。终端用户接收到的视频断断 续续，影响了用户对视频的视觉主观质量。在本文中，我们采用了基于 s a m v i q ( 视频质量主观评测方法) 的测试研究视频“重帧”和“跳帧”对视频 质量的影响。 关键词：重帧，跳帧，视频质量主观测试，s a m v i q a b s t r a c t a b s t r a c t i nt h et r a n s m i s s i o no fd i g i t a l l yc o m p r e s s e dv i d e o , av e r yi m p o r t a n ts o u r c eo f i m p a i r m e n t sc o m e sf r o mt h ed e l i v e r yo ft h ev i d e os t r e a mo v e ra n de r r o r - p r o n e c h a n n e lb e c a u s eo ft h ei n f o r m a t i o nl o s so fv i d e os t r e a m t h ev i s u a li m p a c to fs u c h l o s s e sv a r i e sb e t w e e nv i d e od e c o d e r sd e p e n d i n go nt h e i ra b i l i t yt od e a lw i t hc o r r u p t e d s t e a m s s o m ed e c o d e r sw i l lc h o o s et oe n t i r e l yd i s c a r dt h ef l a m et h a th a sc o r r u p t e do r m i s s i n gi n f o r m a t i o na n dr e p e a tt h ep r e v i o u sv i d e of r a m ei n s t e a d ，u n t i lt h en e x tv a l i d d e c o d e df r a m ei sa v a i l a b l e a p p a r e n tm o t i o nd i s c o n t i n u i t i e si nt h ev i d e o s ，s u c ha sf r a m ef r e e z i n ga n df l a m e s k i p p i n g , a r eac o m m o nt e m p o r a ld e g r a d a t i o ni nt h ev i d e ot r a n s m i s s i o nv i ai n t e m c t a n dm o b i l ec h a n n e l s t h ee n d - u s e rp e r c e i v e saf l u i d i t yb r e a ko fv i s u a li n f o r m a t i o n h a v i n ga ni m p a c to nh i sq u a l i t ya s s e s s m e n to ft h ed e l i v e r e dv i d e os e q u e n c e a s u b j e c t v ev i d e oq u a l i t yt e s tb a s e do ns a m v i q ( s u b j e c t i v ea s s e s s m e n tm e t h o d o l o g y f o rv i d e oq u a l i t y ) h a ss e tu pt oe s t i m a t et h ee f f e c to ff r a m ef r e e z ea n df r a m es k i po n v i d e oq u a l i t y k e yw o r d s ：f r a m ef r e e z e ，f r a m es k i p ，s u b j e c t i v ev i d e oq u a l i t yt e s t ，s a m v i q 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位澈储龋f 夯 伽，7 年弓月2 z 日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 威吨乞学 年 月 日 2 叼年弓月乩日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、己公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：烈l 知弓 砌芦? 月 第l 章引言 第1 章引言 在不久的将来，很多移动网络将被投入使用，例如u m t s ，d v b h 或d m b 等。除了声音和一些多媒体信号，视频流也可以在这些网络中传送。在移动网 络基站接受视频广播有个缺陷，就是信道可能随时变化。视频质量可能因为传送 问题而降低，也可能在一定时间内完全接收不到信号。这反映在用户终端上就 是视频的“重帧”，即在一定时间内，所看到的视频一直重复某帧。当信道恢 复以后，视频可能从最后正确接收到的帧开始显示，也可能跳过没有接受到信 号的视频帧，这取决于传送协议。如果视频的传输过程中，重传输协议被引入 了，那视频在发生失真时，“重帧”和“跳帧”现象同时出现。不单是移动网络 中，互联网上也传送着各种各样的数字压缩视频流。由于最后的视频接收者是 人，所以对接收到的视频进行质量评价的最好途径是进行主观测试以获得平均 判分( m o s ) 。 目前，很多研究的方向都是关于空间性失真或噪声的视觉质量评测。甚至 在研究对象是包含大量动作的视频时，大部分研究仍然集中于单个视频帧的空 i 日j 性失真，它们中大部分因为基于编码失真使得评测方法受到限制。视频失真 的一个重要原因是信号在易发生错误的信道中传播，而数字压缩视频大部分在 包交换网络中传送。在这种情况下，会发生两种典型的传输错误。当没有及时 传送以解码的时候，发生丢“包”现象或者出现延迟。这两种情况都会导致一 部分视频流的丢失。由于一个数据包的丢失会影响整个“宏块”，所以视频信 息的部分丢失可能对视频质量产生重大影响。由于大部分的视频编码器使用不 同形式的预测编码和动作补偿，被影响的“宏块”信息在空间上会干扰相邻的 “块”，在时间域上又会干扰以后接收到的视频帧。单个“宏块”的丢失或失 真可能持续影响视频流直到下个校准点( 例如下个片，下个i 帧) 。这些失真的影 响又由于解码器处理失真视频流的能力不同而有差异。一些解码器很难从错误 中恢复视频图像，其他的会采用复杂的错误隐藏方法。在本文中，我们假设解 码器在发现错误或丢失的帧时会丢弃整个帧，同时重复前一帧直到下个可用帧 被接收为止。这和错误隐藏的情形是完全不同的，因为一个或几个视频帧完全 丢失了，没有了其他的空问性失真，而只有“重帧”和“跳帧”发生，我们也 第1 章引言 称之为视频的“抖动”。另外，在反馈信道中，如果解码器发现了错误，会要 求编码器再传输发生错误的“包”。在这种传输模式下，视频会重复最后接收 到的正确视频帧直到下一帧然后继续播放，没有“跳帧”现象发生。 第2 中说频j 五量评测 2 1 背景 第2 章视频质量评测 自从1 9 8 5 年以来，国际标准化组织i s o 和国际电信联盟u 就开始致力于 多媒体编码标准的研究。早在1 9 8 9 年，i s o 就提出了第一个图像编码标准j p e g ( j o i n tp i c t u r ee x p e r t sg r o u p ) ，随后i t u 也将j p e g 作为静止图像的压缩算法推 荐之一。在1 9 9 1 年1 1 月，i s 0 针对1 5 2 m b i 临的c d r o m 多媒体存储颁布了 第一个视频编码标准m p e g 1 。1 9 9 3 年，r r u 针对i s d n 网络中的p x 6 4 k b i t s 低 比特率数据通信发布了r r u - th 2 6 1 。1 9 9 4 年，对于4 - 9 m b i t s h d t v 应用又出 现了n u - th 2 6 2 标准，也就是我们熟知的m p e g 2 标准。在1 9 9 6 年，标准化 研究又得到了一系列成果，其中以针对i s d n 网络中低于6 4 k b i t s 传输速度的数 据通信。而此后，视频标准化的发展主要集中在对于已有标准的改进，如出现 的h 2 6 3 + ，h 2 6 3 + + 等。在1 9 9 8 年，i s om p e g ( m o t i o np i c t u r ee x p e r t sg r o u p ) a v t ( a u d i ov i d e ot r a n s p o r t ) 组又发布了针对移动多媒体通信的新标准： m p e g 一4 。与它的前辈( 基于b l o c k 的帧结构编码) 相反，m p e g 4 采用基于对 象的层结构编码。在2 0 0 0 年3 月，i s o 标准化协会发布了静止图像的编码标准 最新版本j p e g 2 0 0 0 。以上的各个版本标准应用在了现代多媒体通信中，如i t u t h 3 2 3 ( 应用于包交换网络中) 和r r u th 3 2 4 ( 应用于电路交换网络中) 。随着 视频压缩技术的不断发展，视频标准编码器的信号压缩算法效率和服务质量也 得到了不断优化。 从通信网络的角度来说，经过编码的视频流可以通过各种各样的通信网络 传输。在某些情况下，一些视频流在到达用户终端前会在不均匀网络上传输。 正是由于这个原因，在传输过程中，这些编码视频的比特流以一定大小和结构 的数据包形式传输，且数据包大小和结构取决于传输网络的协议。在传输中， 这些数据包和视频流会因为传输过程中的错误和延迟导致信息丢失。如果解码 器不能采取补救措施，那么这些丢失的数据包会降低重建视频的质量。1 1 另一方面，为了兼容不同视频编码算法，需要利用独立的交互编码器来修 改和终端编码器对应的视频编码器产生的比特流。对于不同网络| j 的通信，通 3 第2 章视频质量评测 常需要利用一些特定的交互编码器进行多个方向的操作使比特流在多个网络传 输。如果发送和接收时分别利用了位于不同带宽且不同性质网络的相同编码算 法，则需要交互编码器，以使得传输的编码视频流速率和传输带宽相符合。混 合视频编码具有变通的交互编码能力，以适应对于不同终端解码器和网络能力 的视频传输。 2 2 视频质量的主观评测和客观评测 视频数据在视频数据库或是在各种各样的网络中传输时，会由于获取，压 缩处理，传输等因素而产生不同形式的失真。举例而言，存储和传输视频数 据时为了降低带宽要求，会采用一定的有损视频压缩技术，其中在量化处理时 会降低视频质量。另一方面，当视频在无线网络等e r r o r - p r o n e 信道上传输时， 由于传输时的错误和信号衰弱，也会导致接收到的视频质量降低。例如i n t e r a c t 的包交换通信网络中，会发生数据包丢失或延迟的情况，这取决于网络实际情 况和服务质量。所有的这些传输错误都会降低接收到视频的质量。因此，有必 要为通信系统建立一个针对视频质量降低的服务系统来保持、控制或尽可能的 增强视频质量。为此，就必须有一个有效的视频质量评测的标尺。 评测视频评测最有效的方法是主观测试方法。因为数字视频质量测量必需 基于数字视频系统的用户对于实际接收到视频的感知质量，到最后用户才是这 些视频的受体。这种方法通过一定数量的用户对于观看质量获得平均判分 ( m o s ) 作为视频质量标度。这种方法在多年来一直被认为是最可靠的视频质 量评测尺度。然而，主观方法需要大量的人力物力和时间，而且需要特别建立 的实验条件。 另外一种方法，也是目前应用最广泛的方法，即客观测试方法。工业和科 学研究中的许多任务都需要自动评测视频质量的方法。代价高而且复杂的主观 测试方法常常不被采用。因此，产生了仿真人体视觉系统( h v s ) 的质量评测 方法，即客观质量评测制。这样的方法被i t u 2 ，3 ，a n s i 4 ，5 ，m p e g 6 详细表述了。在 7 中，作者讨论了多种客观质量评测方法，并和主观方法做了 比较。 一般来说，我们可以通过一下j 三种途径利h j 客观评测方法： 1 用j j 监视图像质鼙测试和质蹬控制系统。举例米晓，个图像和视频系 第2 章税额质量评测 统可以通过客观尺度来监视并自动修正以获得高质量的图像和视频数据。一个 网络视频服务器可以检查网络传输中的视频质量并控制视频流。 2 可以作为图像和视频处理系统和算法的基准。如果有多种视频处理系统 可供选择，利用客观尺度来选择哪一种系统可以提供最好的质量。 3 可以嵌入到多媒体处理系统中来优化算法和参数设置。此外，在多媒体 通信系统中，质量尺度可以在编码端优化预过滤器设计和数据分配算法，在解 码端优化重建和错误补偿算法。 客观测试尺度可以根据对原始图像视频信号的可见性分类，原始信号被认 为是完美的，从而与失真图像视频比较。大部分的客观评测方法中，都假设原 始参考视频是可见的，这种方法称为“f u l lr e f e r e n c e ”f i r ) 。其实，这并不值得， 因为在大多数多媒体应用程序中，原始视频都是不可见的。因此，需要在原始 视频完全封闭的情况下来评测视频质量，这种方法称为隐性参考或“n o r e f e r e n c e ”o 限) 。尽管用户能够在没有任何参考的条件下有效可靠的对失真视 频进行评测，但是对于这种隐性参考或者n r 来说是比较困难的。此外，还有第 三种方法，在这种方法中，从原始视频中提取一定特性作为边缘信息提供给评 测者，这种方法称为“r e d u c e dr e f e r e n c e ”( r r ) 。 2 3p s n r 和m o s 2 3 1p s n r 在质量评测中，应用最为广泛的是计算图像的p s n r ，它是信噪比( s n r ) 的一种衍生。p s n r 比较最大信号能量和噪声能量，相对于普通的s n r ，p s n r 的结果和主观质量感知具有更高的相关性。式( 1 1 ) 表示源图像s 中明度成分y 和终端图像d 之间的p s n r 定义。 p s n r ( n ) , 口一2 0 l o g l o m 5 ( 2 1 ) 第2 章视频质量评测 其中i 一一1 也可以写成： 2 3 3m o s p s n r ：2 0 l 0 9 1 0 旦竺 m s e ( 2 2 ) 人对视频的主观印象范围通常分为5 个等级，从5 ( 最好) 到l ( 最差) ， 如表2 1 所示。我们称这种等级为“m e a no p i n i o ns c o r e ”( m o s ) 。 由于p s n r 的计算是基于帧的，当视频有成千上万的视频帧组成时，计算 表2 11 t u rq u a l i t ya n di m p a i r m e n ts c a l e s c a l e o u a l i t yi m p a i r m e n t 5e x c e l l e n t i m p e r c e p t i b l e 4g c o d p e r c e p t i b l e ，b u tn o ta n n o y i n g 3f a i f s l i g h t l ya n n o y i n g 2p 1 2 0 r a n n o y i n g 1b a d v e r ya n n o y i n g 会变得很复杂。此外，人们通常只关心由传输网络引起的视频失真，所有他们 希望比较显示视频( 可能失真的) 和发送视频( 原始视频) 。这可以通过逐帧的 比较显示视频和经过编码的视频的p s n r ，或者比较它们的平均误差和标准误差 来实现。另一种可能是先计算m o s ( 见表2 2 ) ，再计算m o s 低于原始视频的 帧所占百分比。这种方法的优点是清楚显示了网络传输引起的失真。 表2 2 可能的p s n r 与m o s 转换 p s n r ( d b )m o s 3 7 5 ( e x c e l l e n t ) 3 1 3 74 ( g o o d ) 2 5 3 l 3 ( f a i r ) 2 0 2 5 2 ( p o o r ) - - 汇聚成这么薄薄 的一本。如若这点研究能有一点点意义，则颇感欣慰。 首先，要感谢生我养我的父母，在二十多年的求学生涯中，他们给我了无 限的关怀，使我走到了今天。 再次，要感谢戴老师给了我去德国深造的机会，感谢冯老师在德国交换项 目中给与了我那么的帮助。在德国生活工作中，我学到了很多东西，对我以后 的学习和工作帮助很大。 最后，要感谢所有帮助过的我朋友，在我困难和彷徨的时候，是你们给了 我力量，让我坚持不懈的努力。 2 0 0 7 年2 月 查查茎堕 参考文献 l 1 ja b d u lh s a d k a c o m p r , s o dv i d e oc o m m u n i c a t i o n s ，2 0 0 2 ：2 5 2 n u - rr e c o m m e n d a t i o nb r 5 0 0 1 0 m e t h o d o l o g yf o ft h es u b j e c t i v ea s s e s s m e n to f t h e q u a l i t yo ft e l e v i s i o np i c t u r e s ，2 咖 【3 j u - tr e c o m m e n d a t i o n sp 9 1 0p 9 2 0p 9 3 0 s u b j e c t i v ev i d e oq u a l i t ya s s e s s m e n tm e t h o d s f o rm u l t i m e d i aa p p l i c a t i o n s , i n t e r a c t i v et e s tm e t h o d sf o ra u d i o v i s u a lc o m m u n i c a t i o n s , p r i d d p l e so far e f e r e n c ei m p a i r m e n ts y s t e mf o rv i d e o ，1 9 9 6 4 a n s it 1 8 0 1 0 1 2 - 1 9 9 6 d i g i t a lt r a n s p o r to f v i d e ot e l e c o n f e n e n c i n g n i d e nt e l e p h o n y s i g n a l s ，1 9 9 6 5 a n s lt 1 8 0 1 0 3 1 9 9 6 d i g i t a lt r a n s p o r to fo n e - w a yv i d e os i g n a l s - p a r a m e t e r sf o ro b j e c t i v e p e r f o r m a n c ea s s s m c n t 1 9 9 6 6 i s o i e c j t c i s c 2 9 w g l l e v a l u a t i o nm e t h o d sa n dp r o c e d u r e sf o r j u l ym p e g - 4t e s t s 1 9 9 6 7 s t e p h e n 、v o l fa n dm a r g a r e tp i n s o n v i d e oq u a l i t ym e a s u r e m e n tt e c h n i q u e s t e c h n i c a l r e p o r t0 ”9 2 , u sd e p a r t m e n to f c o m m e r c e n t i a ，2 0 0 2 【8 j s a m o f f c o q m r a t i o a j n d m e t r i x - i qs o f t w a r ea n d j n d ah u m a nv i s i o ns y s t e mm o d e lf o r o b j e c t i v ep i c t u r eq u a l i t ym f a s u r e m e n t s ，2 0 0 2 9 p r o i e c tp 9 n 5 - p fe u r e s c o m a q u a v i t a s s e s s m e n to fq u a l i t yf o ra u d i o - v i s u a ls i g n a l so v e r i n t e m e ta n du m t s 2 0 0 0 1 0 j k l a u e e v a l v i d h t t p ：w w w t k n m - b e r l i n d e r e s e a r c w e v a l v i d f w h t m l l 1 1 j b k al l a b e ，b e r t h o l dr a t h k e ，a d a mw o l i s z e v a l v i d - af r a m e w o r kf o fv i d a o t r a n s m i s s i o na n dq u a l i t ye v a l u a t i o n ，2 0 0 3 1 2 e b u s a m v i o - s u b j e c t i v ea s s e s s m e n t m e t h o d o l o g y f o r v i d e oq u a l l i y 2 0 0 3 1 1 3 g e n e v a 玎u r b t 5 0 0 - 1 1 m e t h o d o l o g y f o r t h e s u b j e c t i v e a s s e s s m e n t o f t h e a u a l i t y o f t e l e v i s i o np i c t u r e ( q u e s t i o n u r2 1 1 1 1 ) ，2 0 0 4 1 4 o u a nh u y n h - t h u 。m o h a m m e dg h a n b a r i i m p a c to f j e t t e ra n dj e r k i n e s so up e r c e i v e dv i d e o q u a l i t y ，2 0 0 4 s l 附录 附录a 视频质量主观测试介绍 y o ua r ea b o u tt ot a k ep a r ti na l le v a l u a t i o no ft h eq u a l i t yo fv i d e oc l i p st h a tc o u l d b eb r o a d c a s tv i a t h ei n t e r n e t o n l yt h eq u a l i t yo ft h ep i c t u r e si sb e i n ga s s e s s e ds ot h es o u n dh a sb e e nm u t e d ， a l s ot h e r ea r eo n l yt w ok i n d so fa a i f a c t si nt e s t i n gv i d e oc f i p s ，v i d e of r e e z i n gw i t h v i d e os k i p p i n g ( t h ev i d e op a u s e sf o rap e r i o do ft i m et h e nr e s t a r t sw i t hs o m el o s so f t h ev i d e oi n f o r m a t i o n ) a n dv i d e of r e e z ew i t h o u ts k i p p i n g ( t h ev i d e op a u s e sf o rs o m e p e r i o do ft i m et h e nr e s t a r t sw i t h o u tl o s i n ga n yv i d e oi n f o r m a t i o n ) ，s oy o us h o u l dn o t a l l o wo t h e rp a r a m e t e r s ，s u c ha si m a g es i z ea n dp i c t u r eq u a l i t y ( y o uc a l ls e ea l lt h e v i d e o sc l e a r l y ) i n f l u e n c ey o u rs c o r i n g t h ev i d e oc l i p sh a v eb ec h o s e nt or e p r e s e n tt h er a n g eo fm a t e r i a lc u r r e n t l y a v a i l a b l ef r o mt h ei n t e m e t ，t h e s ei n c l u d e se x a m p l e so fs p o r t ，n e w sa n de n t e r t a i n m e n t e a c hv i d e oc l i pi sa b o u t8s e c o n d sl o n ga n dy o uw i l la s s e s st h eq u a l i t yb y g i v i n ga s c o r eb e t w e e n0a n d1 0 0 d u r i n gt h et r a i n i n gs e s s i o ny o uw i l lh a v eb e e nf a m i l i a r i z e dw i t ht h et e s t i n g e n v i r o n m e n ta n dh o wt oa s s e s st h eq u a l i t yo ft h ev i d e oc l i p s i fy o uh a v ea n y p r o b l e m sp l e a s es p e a kt oy o u rs e s s i o ns u p e r v i s o rb e f o r es t a r t i n g t h es e s s i o nc o n s i s t so fs e v e r a lt r i a l s i ne a c ht r i a ly o uw i l ls e et h es a m ev i d e o c l i pb u tt r e a t e dw i t hd i f f e r e n ta r t i f a c t si n d i c a t e db yt h eb u t t o n a t 冒c a sw e l la s t h er e f e r e n c ec l i p ( b u t t o n r e f e r e n c e ) t h a th a sn o tb e e nd i s t o r t e d 。 y o um a yv i e we a c hv i d e oc l i pi na n yo r d e ra n dr e p e a ti ta sm a n yt i m e sa sy o u w a n tb yp r e s s i n gt h eb u t t o nw h i c hi n d i c a t e st h a tv i d e oc l i p ，a n du s et h es l i d e rt o i n d i c a t ey o u ro p i n i o no ft h eq u a l i t yo f e a c hc l i p ( r e m e m b e rt ou s et h es l i d e rp r o p e r l y t om a k es u r ey o ug i v ee a c hc l i pt h ea p p r o p r i a t es c o r e ) w h e ny o uh a v ev i e w e da n dg i v e nas c o r et oe a c hc l i py o um a ye n t e ri n t on e x t t r i a lb yp r e s sb u t t o n n e x t i fy o uw i s ht om o d i f yy o u rs c o r e so fs o m ev i d e oc l i p si n t h i st r i a l ，p l e a s ep r e s st h eb u t t o nw h i c hi n d i c a t e st h e mb e f o r ey o ue n t e r i n gt h en e x t t r i a lb yp r e s s i n gb u t t o n n e x t 5 2 附录 y o um a yh a v ear e s tw h e n e v e ry o uw a n t ，t h em o n i t o rw i l ls h o wa p a u s e s i g n i ne v e r y1 2m i n u t e s ，w h i c hw i l lr e m i n dy o ut oh a v ear e s t , i fy o un e e dn o t , p l e a s e c o n t i n u et h et e s t t h a n ky o uf o ry o u rr e g a r d i n g , a n da l s of o r j o i n i n gt h i st o s t 附录 附录b 视频测试系统的软件实现 f u n c t i o ns a m v i q m a i n f u n c t i o no ft h es u b j e c t i v e _ v i d e o _ t i m e _ t e s tu s i n gt h es a m v i qt e s t i n g m e t h o d n op a r a m e t e r sa n dn or e t u r nv a l u e s c l e a ra l l ； g l o b a ls e t t i n g ； g l o b a lt e s t _ c o n t i n u e ； s e t t i n g s _ s a m v i q ； i f e x i s t ( t e s t _ c o n t i n u e ) t e s t _ c o n t i n u e = o ； e n d t h i s _ e v a l u a t i o nn r = 1 ； 【s e n d f i dr e c e i v e _ r i d 】_ o p e nt o _ c l i ，s t e r ； d i s p ( i n i t i a l i z i n g r ) i n i t i a l i z i n gf o ru s i n gt h ee v a l u a t i o n b o x l ab 】- s y s t e m ( 1 9 e t _ s c o r ef e e d b a c k s h ) ； i f ( a = o 、 e r r o r ( e r r o rg e t _ s c o r e _ f e e d b a c k ) e n d 附录 w h i l e ( t h i se v a l u a t i o n _ n r = s e t t i n g n u m b e r s ) v i e w i n g _ s t a r t _ c l o c k = c l o c k ； v a r i a b l eu s e de s p e c i a l l yf o r t h et r a i n i n gs e q u e n c e s c a l l s = 0 ： c o u n t st h ea v a n a b ls e t s s e tc o u n t e r = 1 ： t h es t a r tu s a g es t a t ea tb e g i n n i n g u s a g e _ s r c = s e t t i n g u s a g e _ n u m b e r ； r e a d i n gf r o mi n p u tf i l ef o ri n a n do u t p o i n t sf o re v e r yt e s tp a r t f i l e = d l m r e a d ( s e t t i n g e v a l u a t i o n ( t h i s _ e v a l u a t i o n _ n r ) i n _ o u t p o i n t s ) ； c o p y i n g f i r s tt ot h eg i v e nl i s tf o rt h ec u r r e n tu s a g e _ l i s t t e s t _ c o n t i n u e ； i ft e s t _ c o n t i n u e d i s p ( r e a s i n go l du s a g el i s t ) ； f i l e = d l m r e a d ( s a t t i n g e v a l u a t i o n ( t h i s e v a l u a t i o n _ n 0 u s a g e l i s t ) ； e l s e d l m w r l t e ( s e t t i n g e v a l u a t i o n ( t h i s _ e v a l u a t i o n _ m ) u s a g el i s t ，f i l e ， d e l i m i t e r ，t , p r e c i s i o n ，d ) ； t e s t _ c o n t i n u e = l ； e n d g e t t i n gt ok n o wh o wm u c hs e t sa r ea v a i l a b l e i f ( s e t t i n g e v a l u a t i o n ( t h i s _ e v a l u a t i o nn r ) p e r m u t a t i o n = = 1 、 f i n do u tt h eh o wm u c hs r cs e q u e n c e s s r c = f i n d ( f i l e ( ：，5 ) = = 0 ) ； n u m b e r o f s e t s = s i z e ( s r c ，1 ) ； g e t t i n gt ok n o wh o eo f t e neh a v et os h o wo n es r cs e q u e n c ew i t hd i f f e r e n t 附录 h r c s n ro fh r c s = s i z e ( f i n d ( f i l e c ，4 ) = = s r c ( 1 ) ) ，1 ) ； i fs e t t m g e v a l u a t i o n ( t h i se v a l u a t i o n _ n o e v a l u a t e _ h r c o p a s s e s = c e i l ( ( n r _ o f _ h r c s l e n g t h ( s e t t i n g e v a l u a t i o n ( t h i s _ e v a l u a t i o n _ m ) h i d d e n _ h r c ) ) ( 8 - l e n g t h ( s e t t i n g e v a l u a t i o n ( t h i s _ e v a l u a t i o nn o h i d d e n _ h r c ) ) ) ； e l s e p a s s e s = c e i l ( ( mo f _ h r c s l e n g t h ( s e t t i n g e v a l u a t i o n ( t h i se v a l u a t i o n _ n o h i d d e n _ h r c ) ) ( 8 一i c n g t h ( s e t t i n g e v a l u a t i o n ( t h i s _ e v a l u a t i o n _ n 0 h i d d e n _ h r c ) ) ) ； e n d e l s e o n l yi m p o r t a n th o wm u c hs e q u e n c e sa r ei nt h eg i v e nf i l e n u m b e r o f s e t s = c e i l ( s i z e ( f i l e ( ：，1 ) ，1 ) 9 ) ； t h es a m ep a s s e sw en e e d p a s s e s = n u m b e r o f s e t s ； e n d s h o w i n gt h es u b j e c t i v e t e s t s t a r ts i g n s h o w s i g n s ( s e t t i n g e v a l u a t i o n ( t h i s _ e v a l u a t i o n _ n o s t a r t _ s i g n ) ； w h i l es e tn u m b e ri ss m a l l e rn u m b e ro fa ns e q u e n c es e t s w h i l e ( s e t _ c o u n t e r = n u m b e ro fs e t s ) i f e t i m e ( c l o c k ，v i e w i n g _ s t a r t _ c l o c k ) s e t t i n g e v a l u a t i o n ( t h i s _ e v a l u a t i o n _ n o p a u s el e n g t h s h o w s i g n s ( s e t t i n g e v a l u a t i o n ( t h i s _ e v a l u a t i o n n o p a u s es i g n ) ； p r e s s e d = o ； w h i l e ( p r e s s e d - - = o ) p r e s s e d = g e tb u t t o n ； e n