（信号与信息处理专业论文）数字电视传输流监测分析设备的研究和开发.pdf

中文摘要 数字电视以其潜在的广阔市场和巨大的经济效益，已经成为国际高科技领域 研究丌发的热点之一。数字电视监测分析设备是数字电视丌发和应用中必不可少 的测试和调试工具，在设备的制造、网络的安装、广播业务的正常运行监控等领 域中将有广泛的应用，因此各种数字电视监测分析设备的研制和开发是十分必要 的。 本文介绍了我们自行丌发的t d a 0 3 0 1 型数字电视传输流测试分析仪的拱本 功能，并详细阐述了本人负责的功能模块的实现过程。 t d a 0 3 0 1 型数字电视传输流测试分析仪是基于w i n d o w s 平台的高性能工作 站，设有标准广电接口：d v ba s i 和s p i 。该设备可对m p e g 一2 、d v b 、a t s c 传输 流提供实时的在线监测和详尽的离线分析，还具备传输流软件解码功能。在线监 测和离线分析可以对传输流的语法和语义进行分析，提取节目的相关信息，监测 码流的传输状态。传输流软件解码是一套标清和高清信源解码软件，能将硬盘上 的传输流文件解码为数字电视信号，并可以在屏幕上对其进行快进、快退、暂停、 播放。 在数字电视传输流监测分析项目l _ l ，本人主要负责传输流解码回放功能模 块、传输流系统| 1 标解码器的软件模拟和缓冲器监测功能模块以及硬件部分u s b 2 0 数字电视传输流记录发生器的研究和丌发。本文对丌发各个功能模块的理论 基础和实现方法都做了详细的介绍，这些功能模块的研发任务已基本完成。 关键词：数字l n 视传输流监测分析m p e g 一2 信源斛码e t r 2 9 0u s f l 2 0 记录发生器 a b s t r a c t t h er e s e a r c ho nt h ed i g i t a lt e l e v i s i o ni sb e c o m i n go n eo ft h em o s ti m p o r t a n to d e s i nt h ei n t e r n a t i o n a lh i g h t e c h n o l o g yr e s e a r c hf i e l d sb e c a u s eo fi t sh u g ep o t e n t i a l m a r k e ta n de c o n o m i cp r o f t t a san e c e s s a r yd e b u gt o o li nt h ed e v e l o p m e n ta n d a p p l i c a t i o no fd i g i t a lt e l e v i s i o n ，d t vm o n i t o ra n da n a l y s i sd e v i c ew i l lb eb r o a d l y a p p l i e dt od e v i c em a n u f a c t u r e ，n e t w o r ki n s t a l l a t i o n ，m o n i t o ro fs e r v i c er u n n i n gs t a t u s a n ds oo n s oi ti sn e c e s s a r yt or e s e a r c ha n dd e v e l o pd t vm o n i t o ra n da n a l y s i s d e v i c e t h ef u n c t i o n so ft d a 0 3 01m o n i t o ra n da n a l y s i sd e v i c eo fd t vt r a n s p o r t s t r e a md e v e l o p e db yo u r s e l v e sa r ei n t r o d u c e di nt h i sp a p e ri ta l s op r e s e n t sh o wt o i m p l e m e n ts o m em o d u l e so ft h i sd e v i c ei nd e t a i l t d a 0 3 01i sah i g h p e r f o r m a n c ew o r k s t a t i o nb a s e do nw i n d o w sp l a t f o r m i t p r o v i d e sd v ba s ia n ds p ii n t e r f a c ea n ds u c hf u n c t i o n sa sf o l l o w sf o rt r a n s p o r t s t r e a mc o m p l i a n c ew i t hm p e g - 2 ，d v b ，a t s c ：r e a l t i m eo n l i n em o n i t o r , d e t a i l e d o f f i i n ea n a l y s i s ，t r a n s p o r ts t r e a md e c o d i n g o n l i n em o n i t o ra n do f f i i n e a n a l y s i sc a n a n a l y z es y n t a xa n ds e m a n t i c so ft r a n s p o r ts t r e a m ，e x t r a c tp r o g r a mi n f o r m a t i o n ， m o n i t o rt r a n s p o r ts t a t u s t r a n s p o r ts t r e a md e c o d i n gi ss d t va n dh d t vs o u r c e d e c o d i n gs o f t w a r e i tc a nd e c o d et h et r a n s p o r ts t r e a mf i l e si nh a r d d i s ki n t od t v s i g n a lt h e nb r o a d c a s t ，f a s tf o r w a r d ，f a s tr e w i n do rp a u s et h e mo ns c r e e n ， i nt h ed t vt r a n s p o r ts t r e a mm o n i t o ra n da n a l y s i sp r o j e c t ，ia mi nc h a r g eo f t r a n s p o r ts t r e a md e c o d i n gm o d u l e ，t s t ds o f t w a r es i m u l a t i o na n db u f f e rm o n i t o r m o d u l ea n du s b2 0r e c o r d e ra n dg e n e r a t o lt h i sp a p e ri n t r o d u c e st h et h e o r ya n d i m p l e m e n t a t i o nm e t h o d so ft h e s em o d u l e si nd e t m l t h e s em o d u l e sh a v eb e e n i m p l e m e n t e ds u c c e s s f u l l y k e yw o r d ：d i g i t a lt e l e v i s i o nt r a n s p o r ts t r e a m ，m o n i t o ra n da n a l y s i s ，m p e g 2 s o u r c ed e c o d i n g ，e t r 2 9 0 ，u s b2 0r e c o r d e ra n dg e n e r a t o r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得盘韭盘堂或其他教育机构的学位或证 书丽使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：4 ；f 皂 签字h 期：三伽铲年上月修同 学位论文版权使用授权书 本学位论文作者完全了解盘鲎盘堂有关保留、使用学位论文的规定。 特授权吞生盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供食阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名 鸭芸 铷虢蓼肇 签字一期：刎年2 月f 押签宁同期：即年二月f 孑伺 第一章绪论 1 1 数字电视的发展 第一章绪论 目前，世界各国都投入大量的人力物力进行数字电视 2 】【3 删方面的研究和 实验。1 9 9 4 年11 月，在新加坡召开的 t u 大会上，m p e g 一2 标准正式被批准为 国际标准。从此，信源处理符合m p e g 一2 标准的数字电视系统获得了飞速的发 展。 一些发达国家先后确立了自己的数字电视标准。a t s c ( a d v a n c e dt e l e v i s i o n s y s t e m sc o m m i t t e e ) 是美国的数字电视标准，它是1 9 9 3 年制定的。据美国全国广 播机构协会( n a b ) 的统计，截止2 0 0 2 年2 月6 日，在美国8 4 个地面电视广播城 市和地区，已有2 4 4 个数字电视台正式开播，数字电视覆盖率已达7 5 。 d v b ( d i g i t a lv i d e ob r o a d c a s t i n g ) 是欧洲的数字电视广播标准。1 9 9 9 年欧洲的数字 电视有了快速发展，其中英国和瑞典既有卫星和有线数字电视又有地面数字电 视广播；1 5 个欧盟国家中，除比利时和卢森堡外其他1 3 个国家都有卫星数字电 视广播，而除芬兰、希腊、爱尔兰、卢森堡、葡萄牙外，其他1 0 个国家都有有 线数字电视广播。日本从1 9 8 3 年即开始研究i s d b ( i n t e g r a t e ds e r v i c e sd i g i t a l b r o a d c a s t i n g ) 综合业务数字广播。1 9 9 9 年制定了1 s d b 地面广播标准，用于地 面数字视频、数字音频和数据广播。日本的有线数字电视丌始于1 9 9 8 年，到2 0 0 1 年3 月已拥有1 0 4 8 万用户，7 0 的通讯卫星用户是通过有线收看卫星电视的。 我国对数字电视的跟踪研究从2 0 世纪9 0 年代初就已经开始了。在“八五” 期问，国务院组织成立了国家高清晰度电视研究开发协调领导小组，国家科委组 织戍立了h d t v 发展战略专家组，组织实施了“八五”国家重点科技攻关项目 “高清晰度电视技术研究”，对数字高清晰度电视进行了理论研究和计算机模拟。 1 9 9 5 年，经国家高清晰度电视研究丌发协调领导小组批淮，成立了国家高清晰 度电视( h d t v ) 研究总体组，1 9 9 6 年7 月，出总体组负责，组织实施了“九五” 国家重大科技产业工程项目“高清晰度电视功能样机的研究”。经总体组和全国 多所大学、研究所以及企业的共同努力，丁】9 9 8 年6 月，成功地研制出了我国 第一代数字高清晰度电视功能样机系统，1 9 9 8 年9 月，利用该功能样机系统在 北京由c c t v 进行了”路演示，取得了很好的效果。1 9 9 9 年 二半年，国家计委 批复了在国庆5 0 周年庆典期间开展数字高清晰度电视转播试验的专项一期工程 实施方案，为了做好此次试验活动，总体组划第一代功能样机进行了技术改进， 于1 9 9 9 年9 月研制成功了第二代功能样机系统，与此同时，康佳、t c l 等1 5 第一章绪论 家企业完成了试验活动所需的h d t v 接收机的整机开发工作，1 9 9 9 年国庆期间， 利用上述系统和总体组提出的a d t b t 和d t t b o f d m 传输方案进行了试 验，并对试验结果进行了测试，效果良好。根据第二代功能样机的试验和测试结 果，总体组对第二代功能样机进行了技术改进，于2 0 0 0 年研制成功了第三代功 能样机系统。 在席卷全球的数字化浪潮中，被称作继黑白和彩色电视之后的第三代电视一 数字电视，必将成为2 l 世纪经济新的增长点。 1 2 数字电视监测分析设备的开发 数字电视监测分析设备【5 l 是数字电视开发和应用中必不可少的测试和调试 工具，它将广泛应用于设备的制造( 机顶盒、i r d 等的生产、研发) 、网络的安 装( 有线、卫星、地面广播系统的建立) 以及广播业务的正常运行监控等领域中。 目前国外已有的这类设备包括r & s 公司的d v g m p e g 2 测试信号发生器与 d v m d m p e g 2 测试解码器；h p 公司的m p e g s c o p ed v b ( e 6 2 7 6 a ) 及 m p e g s c o p ed v b p l u s ( e 6 2 7 6 6 a ) ：t e k t r o n i x 公司的m t s l 0 0 ，m t s 2 0 0 和m t s 3 0 0 测试系统：a c t e r n a 公司的d t s g 一a 一a g 等测试系统。国内也有一些单位开发 出这类设备，如北京蓝拓扑公司开发的b s a 1 2 码流分析仪，具有实时分析、离 线分析、码流监测等多项功能。 国外的数字电视监测分析设备由于价格昂贵，难以满足国内需求量日渐增长 的要求。因此研制适合我国国情、价格相对低廉、使用方便的监测分析设备，是 十分必要的。 1 3t d a 0 3 0 1 型数字电视传输流测试分析仪的功能和规格 t d a 0 3 0 1 型数字电视传输流测试分析仪是我们自行丌发的基于w i n d o w s 平 台的高性能工作站，设有标准广电接口( d v ba s i s p i ) 。改设备可对m p e g 一2 、d v b 、 a t s c 传输流( t r a n s p o r ts t r e a m ) 提供实时的在线监测( 需配备接受卡) 和详 尽的离线分析，还具备传输流软件解码功能，可应用于数字电丰见的开发、生产、 电缆卫星地面传送的各个环节。它的功能模块如图l l 所示，其中带“ ”的 功能项由本人负责丌1 发，具体实现将在后续章节中详述。 性能指标 支持切、议：m p e g 一2 d v b a t s c 输入输出接口：a s i s p i 塌大数据输入输出速率：l2 ( n b p s 支持标清和高清数字电视信号 ，一 第一章绪论 具备软件解码功能 具备打印输出功能 系统配置 c p u ：p i v2 4 g 内存：5 1 2 m 硬盘：8 0 g 操作系统：w i n d o w s 2 0 0 0 详尽的高线分析 丙j 而j 丽磊百旷可而丽面面磊j 萌雨萌j ；獗药矿 区堕：塑翌圃亘雯巫j 亘囹堡堕耍堕耍雯重圈 晤函丽一i 福丽而丽丽面面两面i 磊1 1 i _ j i 磊而而 匝匦互里堕匦堕堕匦塑塑巫至二二 ， 1。1。一 e t r 2 9 0 = 级脏测对符台d v b 标准的传输流文什逊 ，盯r 2 9 0 三级监测 i 一 传输流系统目标解饵器的软什模拟和i 缓冲器雌测 厂- 1 宴删分析p s i i s i p s i p 表格 i 。1 。1 。1 。一- 实时的在线 l i 删一j 匡面i 面三五而丽面面i 浮沥丽雨再i 鬲砭孺而面i e t 面i 正：磊瓦五r _ i11。1。一一一。_j l 一一- | 兰量望壁兰竺兰堂塑骘蹙超尘竺竺竺兰兰兰! ! ! ! 竺：! 兰! i ! ： 传输流的解蚪同放 丽丽焉磊百莉i i 嘶1 面瓦画 雕幂卜对其进行快进、快世、暂停、 文件钾蚂为数字 u 视信号，并布 传输流记录发牛器一d t v 转输流的接收和发送经由u s b 与i 也脑接u 列讣提a i d v bs p i 币i a s i 十 图卜1t d a 0 3 0 1 型数字i u 桃竹输流测试分析仪功能慨述 3 游 瓣 第二章传输漉解复心 第二章传输流解复用 2 1m p e g 一2 传输流的系统结构 m p e g 2 系统编码t 6 j 有两种方法：传输流( t r a n s p o r ts t r e a m ) 和节目流 ( p r o g r a ms t r e a m ) ，分别适用于不同的环境，它们都是面向分组打包的多路复用 流。节目流主要针对那些不容易发生错误的环境，用来传送和保存一路节目的编 码数据和其他数据；传输流主要适用于可能发生严重错误的环境，它将有多个独 立时间基点的多路节目合成一个单独的数据流。在数字电视广播中信源编码采用 m p e g 一2 传输流，所以下面详细介绍m p e g 一2 传输流的系统结构。 图2 一l 是传输流编码框图，视频、音频等数据流先编码组合形成p e s ( p a c k e t e l e m e n t a r ys t r e a m ) 分组，然后p e s 分组加上系统级信息形成t s 。t s 可能包含一 路或多路节目，每路节目有一个或多个e s 和附加数据流，一路节目的码流时基 相同，多路节目间时基不一定相同。传输流由一系列的传输包构成，各节目的音 频、视频、数据的传输包交错配置。传输包包长固定为1 8 8 字节或2 0 4 字节，由 首部和有效负载组成，有效负载可能是段p e s 包，也可能是系统信息。有一 种特殊的传输包叫空包，它的有效负载全部是o x f f ，起平衡码率的作用。m p e g 2 传输包结构如图2 2 所示。 桃丽赳耍甄 。瓣耕卫耍垂堕： 吲2 1 传输流编码器 硼档 字段 5 2 2 2 4 3 3 罔2 2m p e g2 化输也i 构 第二章传输流解复刚 传输流可包含多路节目，每路节目又可包含多个基本流，须用节目专用信息 ( p s i ) 将它们组织起来。p s i 的分类及关系如下表所示。 表2 1p s l 分类 名称流类型保留的p i d 值内容 节目关联表 i t u tr e c h 2 2 2 00 x 0 0 节目号和p m tp i d 的 ( p a t ) i s o i e c1 3 8 1 8 1关系 节目映射表 i t u tr e c h 2 2 2 0 由r 町给出一路或多路节目的e s ( p m t )i s o i e c1 3 8 1 8 1p i d 网络信息表专用流由p a t 给出网络参数 ( n i t ) 条件访问表 i t u tr e c h 2 2 2 00 x o l 一个或多个e m m 流与 ( c a t )i s o i e c1 3 8 1 8 - 1每个独立的p i d 的联系 2 2 解复用实现方案 传输流解复用主要是根据传输包的p i d 提取视频流和音频流，送往各自的 解码器，并产生控制和同步信息。解复用流程如图2 3 所示。首先搜索到p a t ， 其p i d 值为0 x 0 0 ，通过对p a t 的分析，得到传输流中节目数以及各路节目的p m t p i d ；根据选定节目的p m tp i d 搜索到该路节目的p m q l ，通过对p m t 的分析， 得到该路节目中包含的e s 的p i d ：根据e sp i d 搜索视频e s 、音频e s ，送往各 自的解码器。 2 3 多线程在信源解码软件中的应用 当前流行的w i n d o w s 操作系统，它能同时运行几个程序( 独立运行的程序又 称之为进程) 对于同一个程序，它又可以分成若干个独立的执行流，我们称之 为线程，线程提供了多任务处理的能力。用进程和线程的观点来研究软件是当今 普遍采用的方法，进程和线程概念的出现，对提高软件的并行性有着重要的意义。 进程是应用程序的执行实例，每个进程由私有的虚拟地址空间、代码、数据 和其它系统资源组成。进程在运行时创建的资源随着进程的终止而死亡。线程的 基本思想很简单，它足一个独立的执行流是进程内部n q 一个独立的执行单元， 相当于一个子程序。一个进程中的所有线程都在该进程的虚拟地址空问中，使用 该进程的全局变量和系统资源。操作系统给每个线程分配不同的c p u 时叫片在 某一个时刻，c p u 只执行一个时间片内的线程，多个时mj 片中的相应线程在c p u 内轮流执行，由1 ：每个时i q 片时间很短，所以对用户来晚，仿佛各个线程在计算 机n t ，是并行处理的。操作系统根据线程的优先级来安排c i u 的时问优先级高的 第二章传输流解复删 凹z3 群蔓川流栏 线程优先运行，优先级低的线程则继续等待。 通常情况下，一个次级线程要为主线程完成某种特定类型的任务，这就隐含 着表示在主线程和次级线程之间需要建立一个通信的通道。一般情况下，有下面 几种方法实现这种通信任务：使用全局变量、使用事件对象、使用消息。 各个线程可以访问进程中的公共变量，所以使用多线程的过程中需要注意的 问题是如何防止两个或两个以上的线程i 司时访问同一个数据，以免破坏数据的完 整性。保证各个线程可以在一起适当的协凋工作称为线程之问的l 司步。v i s u a l c + + 中使用同步类来解决操作系统的并行陛而引起的数据不安全的问题，m f c 支 持的七个多线程的同步类可以分成两大类：同步对象( c s v n c o bj e c t 、c s e m a p h o r e 、 c m ul e x 、c c r i t i c a l s e c t i o n 和c e v e n t ) 和同步访问刈象( c m u l t i l o c k 和 6 圃+ 雯警尝套+ 一 c = 一 甭一 否一 第二章传输流解复j ：| ；j c s i n g l e l o c k ) 。这些同步对象使各个线程协调工作，程序运行起来更安全。 硬件解码器和软件实现的主要区别在于：硬件解码器有并行的处理单元执行 多个任务，而在通用微处理器上所有的任务都是在一个处理单元执行的，由操作 系统切换任务。为了保证视频数据和音频数据的连续流动，需要在多任务间频繁 切换。实现多任务可以采用多进程或者带有多个线程的单进程。为使任务交换有 最小的开销，采用带有多线程的单进程，使任务之间有快速的上下文交换。每个 线程完成解码器的一项任务，包括解复用、视频解码、视频显示、音频解码和音 频显示。 第三章视频解码的优化 第三章视频解码的优化 3 1 多媒体指令简介 随着多媒体和网络技术的发展，计算机系统结构需要增加多媒体和通信功 能，以便适应多媒体信息管理系统、电视会议系统、远程医疗和远程学习系统等 方面的应用。这就需要在原有的硬件和软件平台上增加多媒体数据获取功能、多 媒体数据的压缩和解压缩功能、多媒体数据实时处理功能、多媒体数据的输出和 通信功能。采用并行处理将是一个好的解决方法。分析大量的多媒体软件，包括 音乐、视频、游戏、动画、视频会议等多媒体应用软件的数据，发现有许多内在 的规律：简单的数据类型，如1 6 b i t 的声音，8 b i t 的蚓像；高强度的循环， 如d c t ：定点的矩阵运算和向量运算，如d c t 、f i r 和i i r 滤波器等。于是 一些微处理器制造商利用单指令多数掘流技术将多媒体指令引入c p u 中，例如 i n t e l 公司将m m 刚s s e s s e 2 加入x 8 6 体系结构中，将3 d n o w ! 扩展加入a m d k 6 中，s u n 公司将v i s 加入s p a r c 处理器中。 3 1 1i n t e l 多媒体指令集懈简介 为了有效的提高解码速度，除了在算法上进行改进以外( 如采用快速i d c t 算法) ，另一条重要的途径便是进行程序指令级的优化：采用执行效率非常高的 汇编指令取代高级语言编程指令( 如c 语言) 。在各种汇编语言中，i n t e l 多媒体 指令集m m x l 7 1 尤其适台多媒体信号处理。m m x 具有如下一些特点： ( 1 ) s i m d 技术s i m d ( 单指令多数据流) 技术，是m m x 技术的核心基础。 使用s i m d 技术后m m x 指令能一次处理6 4 b i t 的数据，即能同时处理8 个图像 数据( 8 b i t ) 、4 个音频数掘( 1 6 b i t ) 或2 个双字( 3 2 b i t ) 。因而m m x 技术能提 高处理速度2 8 倍。 ( 2 ) 饱和模式和环绕模式m m x 技术支持种新的算法一饱和算法。饱和算 法与传统的环绕算法形成鲜明的对比。在传统的环绕模式中，上溢或下溢的结果 被截去，只有结果的低位才返回，进位驶忽略。在饱和模式中，上溢或下溢的结 果被饱和成数据类型的最大值或最小值。0 ；：结果超过数折；类型的最大值则被饱和 成数据类型的最大值，若结果小于数据类型的最小值则被饱和成数据类型的最小 值。如： u n s i g n e dc h a ra , b ，c ，d ；a ，b ，c ，d 的值域为从0 到2 5 5 的整数 第三章视频解码的优化 a 2 1 2 0 ；b 2 1 5 0 ： c = a d d ( a ，b ) ；a + b = 2 7 0 环绕成2 7 0 2 5 5 = 1 5 ，因此c = 1 5 d = m m x s a d d ( a ，b ) ；a 饱年叻口b ，因l ed = 2 5 5 饱和算法特别适合于色彩计算，例如图像亮度最大值为2 5 5 ，最小值为o ， 在传统的环绕模式中，像素超过2 5 5 时，发生上溢亮度忽然由亮变暗，像素小于 0 时，发生下溢亮度忽然由暗变亮，因而就会出现黑白颠倒的现象。饱和算法能 有效的避免这种现象。因而引进饱和算法符合多媒体技术的要求，且能提高运算 速度。 ( 3 ) 硬件支持m m x 技术增加了从m m o 到m m 7 的8 个6 4 b i t 的寄存器组。 这8 个6 4 b i t 的通用寄存器并不是新增加的，而是和原有的浮点寄存器公用的， 它们分别对应于8 个8 0 b i t 浮点寄存器的低6 4 位。因此当m m x 指令和浮点运算 指令切换时，在m m x 指令结束以后浮点运算指令开始之前，必须用e m m s 指 令将浮点寄存器的标志位( f p t a g b i t s ) 清零。这些寄存器用来放置m m x 数据， 在汇编中利用寄存器的名字可直接寻址。 ( 4 ) 新的数据类型打包数据分为如下四类： 打包字节类型，一个打包数据包括8 个数据元素，每个数据元素是l 字节， 8 个数据元素打包成6 4 b i t 。 打包字类型，一一个打包数据包括4 个数据元素，每个数据元素是l 字，4 个数据元素打包成6 4 b i t 。 打包双字类型，一个打包数据包括2 个数据元素，每个数据元素是l 双字， 2 个数据元素打包成6 4 b i t 。 打包4 字类型，一个打包数据包括一个数据元素，6 4 b i t 。 打包数据中的每个数据元素都是个定点数，当使用一条指令对打包数据执 行操作时，相当于对打包到6 4 b i t 的多个数掘元素执行并行操作，从而实现单指 令多数据流。 ( 5 ) 新增5 7 条m m x 指令新增的m m x 指令可分为算术指令、比较指令、 逻辑指令、移位指令、传送指令、转换指令和空载m m x 状态指令七大指令。这 旱介绍部分m m x 指令，表3 一l 以图表的形式总结了i am m x 技术指令集及 其助记符命名原则。 c p u i d测试c p u 是否支持m m x 技术 m o ve a x ，l ；请求特征标志 c p u i d ；口! f j 试结果在e d x 巾，若e d x 的2 3 b i t 为1 则c p u 支持m m x 技术 只订c p u 支持m m x 技术，j 能使j 日m m x 指令，齿则会出现3 6 4 位整数指令，对m m x 寄存器中的打包数掘执行操作： 保存和恢复m x c s r 寄存器状态的指令。 支持数据预取、高速缓存数据控制、存储排序控制的指令。 c p u i d 指令的扩展。 ( 2 ) s s e 2 增加的特征 新增六种数据类型。 1 2 8 位打包的双精度浮点数； 1 2 8 位打包的字节整数： 1 2 8 位打包的字整数； 1 2 8 位打包的双字整数； 1 2 8 位打包的四字整数； 支持新增数据类型的指令和扩展现存s i m d 整数操作的指令。 打包和标量双糟度浮点数的指令； 新增的6 4 位和1 2 8 位s i m d 整数指令； m m x 和s s e 中引入的s i m d 整数指令的1 2 8 位版本： 新增的高速缓存控制指令和指令排序指令； ( 3 ) s s e s s e 2 数据结构 i n t e ls s e s s e 2 技术适合于所有标准数据类型，即适合1 6 字节宽度的寄存器 的浮点和整数数据类型，包括：双精度和单精度的浮点数，8 位到1 2 8 位的整数。 s s e s s e 2 为这些数据类型提供了丰富的指令，指令的操作数可以是4 个单精度 浮点数或2 个双精度浮点数或1 6 个8 位整数等从而实现高速计算能力。 t “o a t s 二。 t 2 * d o u b l e s 厂一广 e 岫一【： j r 工工工工 口 二工：_ _ _ _ l 二上二 厂f _ t 一?一二 二二一二二 l * d w 厂 k ：q 3 s s e s s e 2 数掘结构 s s e s s e 2 的编程和优化方法与m m x 相似，可以参考i n t e l 的i a 3 2 软件刀 发手删1 8 l 。 帅 第三章视频解码的优化 3 2i i p e g - 2 视频体系简介 m p e g 2 视频流的层次结构如下所述： ( 1 ) 块块既能指源和重建数据，也能指d c t 系数或相应的编码数据元素，块 为8 8 像素，是最小的编码单位。 ( 2 ) 宏块一个宏块包括亮度分量和空问上相应的色度分量。对于一个宏块， 有三种色度格式，即4 ：2 ：0 ，4 ：2 ：2 和4 ：4 ：4 格式。对每一种不同的色度 格式，宏块中块的顺序应不同，描述如下：一个4 ：2 ：0 宏块由6 个块组成，其 中4 个y 块，一个c b 块和1 个c r 块：一个4 ：2 ：2 宏块由8 个块组成，其中4 个y 块，2 个c b 块和2 个c r 块；一个4 ：4 ：4 宏块由1 2 个块组成，其中4 个y 块，4 个c b 块和4 个c r 块。 ( 3 ) 条条出一系列的宏块组成。每条至少包括一个宏块，第一个宏块和最后 一个宏块应具有相同的水平行。 ( 4 ) 图像由多个条从左到右，从上到下组成一幅图像，分为帧图像和场图像。 ( 5 ) 图像组一个帧内编码帧i 、若干个预测帧p 和双向预测帧b 组成一个图 像组。 ( 6 ) 图像序列图像序列是视频流的最高语法结构，由多个图像组组成。 简单的视频解码过程如下图所示。可变长度解码后的输出为一维数组 q f s n ，应用方向扫描矩阵将数据变为二维系数阵列q f v 儿u 。然后反量化以 产生重建的d c t 系数f v u ，该过程实质上是与量化步长相乘。f v u 通过 反d c t 得到预测差值f l y x ，最后通过运动补偿得到最后的解码像素。 3 3i d c t 的优化 图32 输化的视频解码过程 在视频解码 ； | j 分，i d c t 运算量巨人，而且它具有高度的并行性，所以是重 点优化的模块。酋先在算法i ：进行改进，采用快速i d c t 算法f 9 l ，另一条重要的 途径便是采_ l = | j 多媒体指令进行程序指令级的优化。 魁粒氅 第三章视频解码的优化 3 3 1 通用的i d c t 在基于块的解码过程中，8 * 82 d i d c t 的计算量是非常巨大的。为了利用多 媒体指令，需要将传统的算法并行化。如果直接采用2 d 算法，8 + 8i d c t 缺少并 行性，所以将2 d 算法分解为独立的行和列1 d 算法，这样一个8 * 82 di d c t 可 以通过计算1 6 个8 点1 di d c t 实现。均衡考虑执行速度和计算错误，对于所有 的转换系数、中间数据和输出结果采用1 6 b i t 精度。通过使用s s e 2 指令，8 个 l di d c t 可以并行执行，如图3 - 2 所示。 譬 一 u 2 捌33 他t 1 1 s $ e 2 实现2 d1 d c t l di d c t 的快速算法很多，例如：经典的i d c t 快速算法c h e n 对于8 点的 1 di d c t 需要1 6 次乘法运算和2 6 次加法运算；快速算法a a n 需要1 3 次乘法 运算和2 9 次加法运算；快速算法l l m 需要1 2 次乘法运算和3 2 次加法运算， 而且它的每条路径最多包含一个乘法，能够简单而精确的实现定点运算。其中 a a n 的应用最为广泛，所以我们也选择i d c t 快速算法a a n “”。 3 3 2 稀疏块的i d c t 由于量化，很多i d c t 的输入系数都是零。根据非零系数的分布，可以编写 一些简化的i d c t 函数，例如： ( i ) i d c t d c 这种算法应用于只有自流系数非零的块，这种块的i d c t 只需 调整直流系数，然后用调整后的值代替整个块的6 4 个系数。 ( 2 ) i d c ta c 这种算法应用于只有一个交流系数非零的块，首先建立一个 查找表，查找表内保存不同位置非零交流系数的i d c t 结果，根据非零系数的位 置在查找表中找到中间变换的结果，再将该结果乘以这个非零交流系数，得到最 后变换的结果。 ( 3 ) i d c te o b l 4 这种算法应用于非零系数的个数 = 1 4 即e o b 的位置 ”t o o o n i i = i ( x ( 1 li ，mi l u ) x ( 1 1 十i m 十i ，t u ) ) ( “i i 一【m 【c ) x ( n + i m ，t u ( x “”1 十i t e ) x ( n + im i1 r ) ) i h m u t c ( pr ) i f l l l l f l l u = x ( n ，_ lr ，)x ( i i _ l u ) = m u d i 州i ，q ) 2 o ho 菱善专萋 o ”l o o o x ( n n ，t c ) = - c d l t m ( x ( i ii ，mi “- ) x ( n i _ t u ) x ( n i + i n + i t c x ( + i m i t c ) x ( n + i ，_ t c x ( + i m + 1 【e - ，# x ( i i ，m t ，) i 口 【n m l c ) ) i i hi ) i 2 i - 川p ：i # 表示议值为n 喊h x ( i i _ 【u ) = ( i 肥) ( “n _ i ，mt c ) + ( n + i n ，t u ) ) f 爿l _ “) 儿- 加f x 1 值姑被f | k 算沾 ( 【+ i ) o1 4 o oi 4 ”“1 “? 麓ji：jij4“置：“i。b?jij?+甚。14+)i i ii 2 xi i ：_ ：0 ：j i i ? i i ”i f lj ? 。“”十止x ( b i t ) ) +( n ，m ( + ) ) + ! x ( | 1 - ml c ) + l 2 x ( + 1 ) j x 2 hd l i i o ( y x ( n ，mi ”) x ( i t f 1 + ”f ，) x ( i im il ) ，x ( i i l ，n ，l e ) ) 考虑算法的复杂性和效果，采用一种新的运动自适应三点中值滤波i p c 算 o x o o 。oo 。ooo o 慧姚i “m o m 骝 m | _ 第三章视频解码的优化 法，如图3 - 1 2 所示。在这种新的i p c 算法中，使用三点中值滤波器作为运动检 测器，它不但简单，而且效果很好。根据输出像素的运动情况，再相应的采用行 平均或行插入i p c 算法。如果中值滤波器的输出来自于场间信息，那么内插的像 素可能是一个静止的像素，所以把中值滤波器的输出作为内插像素的值；反之， 如果中值滤波器的输出来自于场内信息，那么内插的像素可能是一个运动的像 素，所以把一个简单的线性内插的结果作为内插像素的值。运动自适应三点中值 滤波的效果要好于三点中值滤波，而且这种算法的效率也很高。 o o c ：场内像隶 b ：场l j 像素 o o 第四章视频显示 第四章视频显示 视频和音频解压缩之后，要将图像和声音显示出来，这部分任务可以用 d i r e c t x 开发的高性能实时的应用程序来完成。d i r e c t x 是微软推出的游戏和商业 多媒体开发技术，它的最大特点是能直接对硬件抽象层操作，实现视频和声音的 输出、网络相互通信。d i r e c t x 在硬件和应用之间提供了一致的接口以减少安装 和配置的复杂性，并且使得对硬件的利用达到最优。d i r e c t x 主要包括 d i r e c t d r a w td i r e c t 3 d ，d i r e c t s o u n d ，d i r e c t p l a y ，d i r e c t l n p u t ，d i r e c t s e t u p 六个 部分。其中d i r e c t d r a w 管理程序的视频输出：d i r e c t 3 d 管理程序中三维场景 和图形的快速变换；d i r e c t s o u n d 管理程序的声音输出和采集：d i r e c t p l a y 管理程 序之间的网络通信和信息交换：d i r e c t l n p u t 管理程序的外部输入；d i r e c t s e t u p 管 理程序的安装。下面详细介绍利用d i r e c t d r a w 实现视频的快速输出功能。 4 1d i r e c t d r a w 架构概览 多媒体应用程序及游戏需要高表现力的图形引擎。m i c r o s o f t 公司通过 d i r e c t d r a w ”1 为广大开发者提供了一个比g d i 层次更高、功能更强、操作更有 效、速度更快的应用程序图像引擎，与此同时，也努力使其保持了设备无关的优 良特性。d i r e c t d r a w 主要提供了完成以下任务的工具： 管理多页面 直接访问视频r a m 换页( p a g ef l i p p i n g ) 后台缓存( b a c kb u f f e r i n g ) 管理调色板( p a l e t t e ) 裁剪( c l i p p i n g ) 视频端口( v i d e op o r t ) 除此之外，d i r e c t d r a w 允许丌发者在应用程序运行期削测定显示硬件的特 性，然后，充分利用主机硬件发备的加速特性为用户提供可能的虽优的显示速度 和效果。 与d i r e c t x 其它组件一样，只要可能，d i r e c t d r a w 就会最高程度的利用硬 件执行某些特定功能，并且让那些陔硬件还不支持的特。肚也能用软件仿真的方式 加以实现。设备无关性通常是通过硬件抽象层实现的。 ( 1 ) 硬件抽象层h a l ( 】l a r d w a r ea b s t r a c t i o f tl a y e r ) 第四章视频显示 d i r e c t d r a w 通过硬件抽象层h a l 来提供设备无关的特性。h a l 是由设备生产 商提供的指定设备的接口，d i r e c t d r a w 用来直接操作显示硬件。应用程序从来 不会直接与h a l 打交道，相反地，是与h a l 所提供的下属函数打交道。 d i r e c t d r a wh a l 可以以1 6 位、3 2 位或在w i n 9 5 中两者兼而有之的形式执行， h a l 在w i n n t 中通常以3 2 位方式执行。h a l 可以是显示设备驱动程序的一部分， 或是独立的动态链接库d l l ，通过驱动程序编写者定义的一个私有接口联系显示